本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
独立と無相関の関係
確率変数$X$と$Y$が独立ならば無相関である。一方，無相関でも独立とは限らない。ただし，$X$と$Y$がそれぞれ正規分布に従うとき（この時点で独立とは限らない），すなわち$(X, Y)$が$2$次元正規分布に従うとき，独立と無相関は必要十分条件になる。一般に，$(X_1, \ldots, X_n)$が多変量正規分布に従っているとき，$i\neq j$なる全ての$(X_i, X_j)$が無相関ならば全ての$X_i$は独立になる。
独立と無相関を無条件で必要十分条件にしてしまう人が多いように思えます。一般に，独立は無相関の十分条件でしかなく，逆に言えば無相関は独立の必要条件になります。ただし，それぞれの確率変数が正規分布に従っている場合は対角行列の行列式の性質から独立と無相関は同値になります。
独立⇒無相関
まずは独立が無相関の十分条件であることを確認します。これは， $(X, Y)$が$2$変量正規分布に従うという仮定がなくとも成り立つ命題です。独立の定義に従うと共分散が$0$になることを利用します。まず，無相関とは相関係数が$0$であることでした。相関係数とは，以下のように計算される値です。
\rho_{xy} &= \frac{\sigma_{xy}}{\sigma_x \sigma_y}
\end{align}
ただし，$\sigma_x$，$\sigma_y$は$X$と$Y$の標準偏差，$\sigma_{xy}$は共分散を表します。したがって，共分散が$0$のときに相関係数は$0$になり，$X$と$Y$は無相関になります。さて，$X$と$Y$が独立であるとき，独立の定義から
\sigma_{xy} &= E[XY] - E[X]E[Y] \\[0.7em]
&= E[X]E[Y] - E[X]E[Y] \\[0.7em]
&= 0
\end{align}
となります。ゆえに，独立⇒無相関であることが示されました。
無相関⇒独立
$(X, Y)$が$2$変量正規分布に従うときには，無相関⇒独立であることが示せます。より一般には，$(X_1, \ldots, X_n)$が多変量正規分布に従っているときは$i\neq j$なる全ての$(X_i, X_j)$が無相関ならば全ての$X_i$は独立になります。このことを証明していきましょう。
$i\neq j$なる全ての$(X_i, X_j)$が無相関のとき，分散共分散行列$\Sigma$は対角行列になります。対角行列の行列式は対角成分の積になるので，
|\Sigma| &= \sigma_1^2\cdots \sigma_n^2
\end{align}
よって，多次元正規分布の確率密度関数は以下のように変形することができます。
f(\vx) &= \frac{1}{(2\pi)^{n/2} |\Sigma|^{1/2}} \exp \left\{ -\frac{1}{2} (\vx - \vmu)\Sigma^{-1} (\vx - \vmu) \right\} \\[0.7em]
&= \frac{1}{(2\pi)^{n/2} \sigma_1\cdots \sigma_n} \exp \left\{ -\frac{1}{2} (\vx - \vmu)\Sigma^{-1} (\vx - \vmu) \right\} \\[0.7em]
&= \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi}\sigma_i} \exp \left( -\frac{(x_i - \mu_i)^2}{2\sigma_i^2} \right)
\end{align}
これは，$1$変量正規分布の積の形になっており，同時確率が積の形で書けるため，全ての$X_i$が独立であることを示しています。
多変量正規分布の指数部分はマハラノビス距離と呼ばれている形になっています。一方で，独立な$1$変量正規分布の指数部分はユークリッド距離の形になっており，その積もまたユークリッド距離の形になります。距離を等高線とみなしたときに，ユークリッド距離では等高線は円になりますが，マハラノビス距離では等高線は楕円になります。マハラノビス距離では変数間の相関を考慮できているからです。変数間の相関がないとき，すなわち無相関のときは，マハラノビス距離とユークリッド距離は等価になります。無相関のときは多変量正規分布の指数部分がユークリッド距離になることから，多変量正規分布が$1$変量正規分布の積で表される（＝独立である）ことが直感的にも分かります。
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント