本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
多変量正規分布の独立性
$\mX \sim \N(\vmu, \Sigma)$とする。$\mX_1 \in \bbR^{D_1}$と$\mX_2 \in \bbR^{D_2}$が独立となる必要十分条件は，
\Sigma_{12} &= O_{D_1, D_2}
\end{align}
である。ただし，以下のように$\mX, \vmu, \vt, \Sigma$を$D_1$次元の部分と$D_2=D-D_1$次元の部分に区分けした。
\mX &=
\begin{bmatrix}
X_1 \\
X_2 \\
\end{bmatrix}
&
\vmu &=
\begin{bmatrix}
\vmu_1 \\
\vmu_2 \\
\end{bmatrix}
&
\vt &=
\begin{bmatrix}
\vt_1 \\
\vt_2 \\
\end{bmatrix}
&
\Sigma &=
\begin{bmatrix}
\Sigma_{11} & \Sigma_{12} \\
\Sigma_{21} & \Sigma_{22} \\
\end{bmatrix}
\end{align}
多変量正規分布の独立性に関する定理です。$D_1=1$を逐次適用していくことで，全ての要素が独立である必要十分条件は分散共分散行列が対角行列となることが分かります。
証明
多変量正規分布に従う確率変数が独立となる必要十分条件を考えますので，必要性と十分性に分けて考える必要があります。一方で，$\mX_1$と$\mX_2$が独立となる必要十分条件は「$\mX$のモーメント母関数が$\mX_1$のモーメント母関数と$\mX_2$のモーメント母関数の積で表されること」ですので，この必要十分条件を同値変形していきます。
多変量正規分布のモーメント母関数の定義より，$\mX$のモーメント母関数は以下のように表されます。
M_{\mX}(\vt) &= \exp\left( \vmu^T \vt + \frac{1}{2}\vt^T \Sigma \vt \right)
\end{align}
同様に，$\mX_1$と$\mX_2$のモーメント母関数は以下のようになります。
M_{\mX_1}(\vt_1) &= \exp\left( \vmu_1^T \vt_1 + \frac{1}{2}\vt_1^T \Sigma_{11} \vt_1 \right) \\[0.7em]
M_{\mX_2}(\vt_2) &= \exp\left( \vmu_2^T \vt_2 + \frac{1}{2}\vt_2^T \Sigma_{22} \vt_2 \right)
\end{align}
冒頭にある通り，以下の恒等式を考えます。
M_{\mX}(\vt) &= M_{\mX_1}(\vt_1) \cdot M_{\mX_2}(\vt_2)
\end{align}
すなわち，$\mX_1$と$\mX_2$が独立となる条件は以下です。
\exp\left( \vmu^T \vt + \frac{1}{2}\vt^T \Sigma \vt \right) &= \exp\left( \vmu_1^T \vt_1 + \frac{1}{2}\vt_1^T \Sigma_{11} \vt_1 \right) \cdot \exp\left( \vmu_2^T \vt_2 + \frac{1}{2}\vt_2^T \Sigma_{22} \vt_2 \right)
\end{align}
指数部分のみを考えます。
\vmu^T \vt + \frac{1}{2}\vt^T \Sigma \vt &= \vmu_1^T \vt_1 + \vmu_2^T \vt_2 + \frac{1}{2}\vt_1^T \Sigma_{11} \vt_1 + \frac{1}{2}\vt_2^T \Sigma_{22} \vt_2 \label{恒等式}
\end{align}
左辺を行列の分解形式で計算します。
&\begin{bmatrix}
\vmu_1 \\
\vmu_2 \\
\end{bmatrix}^T
\begin{bmatrix}
\vt_1 \\
\vt_2 \\
\end{bmatrix}
+ \frac{1}{2}
\begin{bmatrix}
\vt_1 \\
\vt_2 \\
\end{bmatrix}^T
\begin{bmatrix}
\Sigma_{11} & \Sigma_{12} \\
\Sigma_{21} & \Sigma_{22} \\
\end{bmatrix}
\begin{bmatrix}
\vt_1 \\
\vt_2 \\
\end{bmatrix} \notag \\[0.7em]
&= \vmu_1 \vt_1 + \vmu_2 \vt_2 + \frac{1}{2}\vt_1^T \Sigma_{11} \vt_1 + \frac{1}{2}\vt_2^T \Sigma_{22} \vt_2 + \frac{1}{2}\vt_1^T \Sigma_{12} \vt_1 + \frac{1}{2}\vt_2^T \Sigma_{21} \vt_2 \label{行列分解}
\end{align}
式($\ref{恒等式}$)に式($\ref{行列分解}$)を代入すると，以下が得られます。
\frac{1}{2}\vt_1^T \Sigma_{12} \vt_1 + \frac{1}{2}\vt_2^T \Sigma_{21} \vt_2 &= 0
\end{align}
$\vt_1$と$\vt_2$はモーメント母関数の変数ですので，ゼロベクトル以外の値も取り得ます。したがって，以下が得られます。
\Sigma_{12} &= O_{D_1, D_2} \\[0.7em]
\Sigma_{21} &= O_{D_2, D_1}
\end{align}
以上より，$\mX_1$と$\mX_2$が独立となる必要十分条件は「$\Sigma_{12}$と$\Sigma_{21}$がゼロ行列であること」を証明できました。
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント