本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
目次
分散共分散行列の性質
$X,Y$を互いに独立な$n$次元確率ベクトル，$a$を$n$次元定数ベクトル，$B$を$n\times n$定数行列とする。このとき，分散共分散行列は以下の性質を満たす。
- $V[X]=E[(X-\mu_{x})(X-\mu_{x})^{T}]$
- $V[a+BX]=BV[X]B^{T}$
- $V[X+Y]=V[X]+V[Y]$
ただし，$\mu_{x}=E[X]$とおいた。
1.を分散共分散行列の定義として用いる場合もあります。
証明
1.〜3.をそれぞれ証明していきます。
1.の証明
$E[(X-\mu)(X-\mu)^{T}]$の$(i,j)$要素は$E[(X_{i}-\mu)(X_{j}-\mu)^{T}]$となります。共分散の定義より，
\begin{align}
E[(X_{i}-\mu)(X_{j}-\mu)^{T}] &= \Cov[X_{i},X_{j}]
\end{align}
E[(X_{i}-\mu)(X_{j}-\mu)^{T}] &= \Cov[X_{i},X_{j}]
\end{align}
が成り立ちます。したがって，$E[(X-\mu)(X-\mu)^{T}]$が分散共分散行列の定義と一致することが示されました。
上でも述べましたが，$E[(X-\mu)(X-\mu)^{T}]$を分散共分散行列の定義として用いる場合もあります。
2.の証明
まず，$a+BX$の期待値ベクトルを計算しておきましょう。
\begin{align}
E[a+BX] &= a+BE[X] = a+B\mu
\end{align}
E[a+BX] &= a+BE[X] = a+B\mu
\end{align}
1.の結果を利用します。
\begin{align}
V[a+BX] &= E\left[\left\{(a+BX)-(a+B\mu)\right\}\left\{(a+BX)-(a+B\mu)\right\}^{T}\right]\\[0.7em]
&= E\left[B(X-\mu)\left\{B(X-\mu)\right\}^{T}\right]\\[0.7em]
&= E\left[B(X-\mu)(X-\mu)^{T}B^{T}\right]\\[0.7em]
&= BE[(X-\mu)(X-\mu)^{T}]B^{T}\\[0.7em]
&= BV[X]B^{T}
\end{align}
V[a+BX] &= E\left[\left\{(a+BX)-(a+B\mu)\right\}\left\{(a+BX)-(a+B\mu)\right\}^{T}\right]\\[0.7em]
&= E\left[B(X-\mu)\left\{B(X-\mu)\right\}^{T}\right]\\[0.7em]
&= E\left[B(X-\mu)(X-\mu)^{T}B^{T}\right]\\[0.7em]
&= BE[(X-\mu)(X-\mu)^{T}]B^{T}\\[0.7em]
&= BV[X]B^{T}
\end{align}
3.の証明
まず，$X+Y$の期待値ベクトルを計算しておきましょう。
\begin{align}
E[X+Y] &= E[X] + E[Y] = \mu_{x} + \mu_{y}
\end{align}
E[X+Y] &= E[X] + E[Y] = \mu_{x} + \mu_{y}
\end{align}
ただし，$\mu_{y}=E[Y]$とおきました。1.の結果を利用します。
\begin{align}
V[X+Y] &= E\left[\left\{(X+Y)-(\mu_{x} + \mu_{y})\right\}\left\{(X+Y)-(\mu_{x} + \mu_{y})\right\}^{T}\right]\\[0.7em]
&= E\left[\left\{(X-\mu_{x})+(Y-\mu_{y})\right\}\left\{(X-\mu_{x})+(Y-\mu_{y})\right\}^{T}\right]\\[0.7em]
&= E\left[(X-\mu_{x})(X-\mu_{x})^{T}\right]+E\left[(X-\mu_{x})(Y-\mu_{y})^{T}\right]\notag\\[0.7em]
&\quad\quad+E\left[(Y-\mu_{y})(X-\mu_{x})^{T}\right]+E\left[(Y-\mu_{y})(Y-\mu_{y})^{T}\right]\\[0.7em]
&= V[X]+2E\left[(X-\mu_{x})(Y-\mu_{y})^{T}\right]+V[Y]\label{代入前}
\end{align}
V[X+Y] &= E\left[\left\{(X+Y)-(\mu_{x} + \mu_{y})\right\}\left\{(X+Y)-(\mu_{x} + \mu_{y})\right\}^{T}\right]\\[0.7em]
&= E\left[\left\{(X-\mu_{x})+(Y-\mu_{y})\right\}\left\{(X-\mu_{x})+(Y-\mu_{y})\right\}^{T}\right]\\[0.7em]
&= E\left[(X-\mu_{x})(X-\mu_{x})^{T}\right]+E\left[(X-\mu_{x})(Y-\mu_{y})^{T}\right]\notag\\[0.7em]
&\quad\quad+E\left[(Y-\mu_{y})(X-\mu_{x})^{T}\right]+E\left[(Y-\mu_{y})(Y-\mu_{y})^{T}\right]\\[0.7em]
&= V[X]+2E\left[(X-\mu_{x})(Y-\mu_{y})^{T}\right]+V[Y]\label{代入前}
\end{align}
ここで，$X$と$Y$が独立であること，すなわち確率ベクトル$X$の各要素が独立であることから，
\begin{align}
E\left[(X-\mu_{x})(Y-\mu_{y})^{T}\right] &= E\left[XY^{T}-X\mu_{y}^{T}-\mu_{x}Y^{T}+\mu_{x}\mu_{y}^{T}\right]\\[0.7em]
&= E\left[XY^{T}\right]-E\left[X\mu_{y}^{T}\right]-E\left[\mu_{x}Y^{T}\right]+E\left[\mu_{x}\mu_{y}^{T}\right]\\[0.7em]
&= E[X]E[Y]^{T}-E[X]\mu_{y}^{T}-\mu_{x}E[Y]^{T}+\mu_{x}\mu_{y}^{T}\\[0.7em]
&= \mu_{x}\mu_{y}^{T}-\mu_{x}\mu_{y}^{T}-\mu_{x}\mu_{y}^{T}+\mu_{x}\mu_{y}^{T}\\[0.7em]
&= 0\label{代入後}
\end{align}
E\left[(X-\mu_{x})(Y-\mu_{y})^{T}\right] &= E\left[XY^{T}-X\mu_{y}^{T}-\mu_{x}Y^{T}+\mu_{x}\mu_{y}^{T}\right]\\[0.7em]
&= E\left[XY^{T}\right]-E\left[X\mu_{y}^{T}\right]-E\left[\mu_{x}Y^{T}\right]+E\left[\mu_{x}\mu_{y}^{T}\right]\\[0.7em]
&= E[X]E[Y]^{T}-E[X]\mu_{y}^{T}-\mu_{x}E[Y]^{T}+\mu_{x}\mu_{y}^{T}\\[0.7em]
&= \mu_{x}\mu_{y}^{T}-\mu_{x}\mu_{y}^{T}-\mu_{x}\mu_{y}^{T}+\mu_{x}\mu_{y}^{T}\\[0.7em]
&= 0\label{代入後}
\end{align}
となります。したがって，式($\ref{代入前}$)を式($\ref{代入後}$)に代入すると，3.が示されます。
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント