【徹底解説】分散共分散行列の性質

本記事は「これなら分かる!はじめての数理統計学」シリーズに含まれます。

不適切な内容があれば,記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。

目次

分散共分散行列の性質

$X,Y$を互いに独立な$n$次元確率ベクトル,$a$を$n$次元定数ベクトル,$B$を$n\times n$定数行列とする。このとき,分散共分散行列は以下の性質を満たす。

  1. $V[X]=E[(X-\mu_{x})(X-\mu_{x})^{T}]$
  2. $V[a+BX]=BV[X]B^{T}$
  3. $V[X+Y]=V[X]+V[Y]$

ただし,$n$次元期待値ベクトルを$\mu_{x}=E[X]$とおいた。

1.を分散共分散行列の定義として用いる場合もあります。

証明

1.〜3.をそれぞれ証明していきます。

1.の証明

$E[(X-\mu_{x})(X-\mu_{x})^{T}]$の$(i,j)$要素は$E[(X_{i}-\mu_{x})(X_{j}-\mu_{x})^{T}]$となります。共分散の定義より,

\begin{align}
E[(X_{i}-\mu_{x})(X_{j}-\mu_{x})^{T}] &= \Cov[X_{i},X_{j}]
\end{align}

が成り立ちます。したがって,$E[(X-\mu_{x})(X-\mu_{x})^{T}]$が分散共分散行列の定義と一致することが示されました。

上でも述べましたが,$E[(X-\mu_{x})(X-\mu_{x})^{T}]$を分散共分散行列の定義として用いる場合もあります。

2.の証明

まず,$a+BX$の期待値ベクトルを計算しておきましょう。

\begin{align}
E[a+BX] &= a+BE[X] = a+B\mu_{x}
\end{align}

1.の結果を利用します。

\begin{align}
V[a+BX] &= E\left[\left\{(a+BX)-(a+B\mu_{x})\right\}\left\{(a+BX)-(a+B\mu_{x})\right\}^{T}\right]\\[0.7em]
&= E\left[B(X-\mu_{x})\left\{B(X-\mu_{x})\right\}^{T}\right]\\[0.7em]
&= E\left[B(X-\mu_{x})(X-\mu_{x})^{T}B^{T}\right]\\[0.7em]
&= BE[(X-\mu_{x})(X-\mu_{x})^{T}]B^{T}\\[0.7em]
&= BV[X]B^{T}
\end{align}

3.の証明

まず,$X+Y$の期待値ベクトルを計算しておきましょう。

\begin{align}
E[X+Y] &= E[X] + E[Y] = \mu_{x} + \mu_{y}
\end{align}

ただし,$\mu_{y}=E[Y]$とおきました。1.の結果を利用します。

\begin{align}
V[X+Y] &= E\left[\left\{(X+Y)-(\mu_{x} + \mu_{y})\right\}\left\{(X+Y)-(\mu_{x} + \mu_{y})\right\}^{T}\right]\\[0.7em]
&= E\left[\left\{(X-\mu_{x})+(Y-\mu_{y})\right\}\left\{(X-\mu_{x})+(Y-\mu_{y})\right\}^{T}\right]\\[0.7em]
&= E\left[(X-\mu_{x})(X-\mu_{x})^{T}\right]+E\left[(X-\mu_{x})(Y-\mu_{y})^{T}\right]\notag\\[0.7em]
&\quad\quad+E\left[(Y-\mu_{y})(X-\mu_{x})^{T}\right]+E\left[(Y-\mu_{y})(Y-\mu_{y})^{T}\right]\\[0.7em]
&= V[X]+2E\left[(X-\mu_{x})(Y-\mu_{y})^{T}\right]+V[Y]\label{代入前}
\end{align}

ここで,$X$と$Y$が独立であること,すなわち確率ベクトル$X$の各要素が独立であることから,

\begin{align}
E\left[(X-\mu_{x})(Y-\mu_{y})^{T}\right] &= E\left[XY^{T}-X\mu_{y}^{T}-\mu_{x}Y^{T}+\mu_{x}\mu_{y}^{T}\right]\\[0.7em]
&= E\left[XY^{T}\right]-E\left[X\mu_{y}^{T}\right]-E\left[\mu_{x}Y^{T}\right]+E\left[\mu_{x}\mu_{y}^{T}\right]\\[0.7em]
&= E[X]E[Y]^{T}-E[X]\mu_{y}^{T}-\mu_{x}E[Y]^{T}+\mu_{x}\mu_{y}^{T}\\[0.7em]
&= \mu_{x}\mu_{y}^{T}-\mu_{x}\mu_{y}^{T}-\mu_{x}\mu_{y}^{T}+\mu_{x}\mu_{y}^{T}
= 0\label{代入後}
\end{align}

となります。したがって,式($\ref{代入前}$)を式($\ref{代入後}$)に代入すると,3.が示されます。

参考文献

本稿の執筆にあたり参考にした文献は,以下でリストアップしております。

シェアはこちらからお願いします!

コメント

コメント一覧 (2件)

コメントする

※ Please enter your comments in Japanese to distinguish from spam.

目次