本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
目次
条件付き期待値・分散に関する定理
確率変数$X$，$Y$に対して，次が成り立つ。
\begin{align}
E_Y \left[ E_{X|Y} [X | Y] \right] &= E_X [X] \\[0.7em]
E_Y \left[ V_{X|Y}[X | Y] \right] + V_Y \left[ E_{X|Y}[X | Y] \right] &= V_X[X] \\[0.7em]
V_{X|Y}[X | Y] &= E_{X|Y}[X^2 | Y] - E_{X|Y}[X | Y]^2
\end{align}
E_Y \left[ E_{X|Y} [X | Y] \right] &= E_X [X] \\[0.7em]
E_Y \left[ V_{X|Y}[X | Y] \right] + V_Y \left[ E_{X|Y}[X | Y] \right] &= V_X[X] \\[0.7em]
V_{X|Y}[X | Y] &= E_{X|Y}[X^2 | Y] - E_{X|Y}[X | Y]^2
\end{align}
条件付き期待値や条件付き分散を通常の期待値や分散に変換したい際に利用される定理です。期待値に関しては「条件づけている側の確率変数について期待値を取れば条件付けが外れる」と捉えると分かりやすいです。最後は条件付き分散を表しています。
1の証明
条件付き期待値の定義に従って計算していきます。本ページの証明は確率変数を離散として証明しますが，連続の場合もシグマを積分に置き換えるだけで同様の議論が可能です。
\begin{align}
E_{Y} \left[ E_{X|Y} [X | Y] \right]
&= E_{Y} \left[ \sum_{x=0}^{\infty} x f_{X|Y} (x | y) \right] \\[0.7em]
&= E_{Y} \left[\sum_{x=0}^{\infty} x \frac{f_{X, Y}(x, y)}{f_{Y} (y)} \right] \\[0.7em]
&= \sum_{y=0}^{\infty} \sum_{x=0}^{\infty} x \frac{f_{X, Y}(x, y)}{f_{Y} (y)} f_{Y} (y) \\[0.7em]
&= \sum_{y=0}^{\infty} \sum_{x=0}^{\infty} x f_{X, Y}(x, y) \\[0.7em]
&= \sum_{x=0}^{\infty} \sum_{y=0}^{\infty} x f_{X, Y}(x, y) \quad (\because~\text{シグマの入れ替え})\\[0.7em]
&= \sum_{x=0}^{\infty} x f_{X}(x) \\[0.7em]
&= E_{X}[X]
\end{align}
E_{Y} \left[ E_{X|Y} [X | Y] \right]
&= E_{Y} \left[ \sum_{x=0}^{\infty} x f_{X|Y} (x | y) \right] \\[0.7em]
&= E_{Y} \left[\sum_{x=0}^{\infty} x \frac{f_{X, Y}(x, y)}{f_{Y} (y)} \right] \\[0.7em]
&= \sum_{y=0}^{\infty} \sum_{x=0}^{\infty} x \frac{f_{X, Y}(x, y)}{f_{Y} (y)} f_{Y} (y) \\[0.7em]
&= \sum_{y=0}^{\infty} \sum_{x=0}^{\infty} x f_{X, Y}(x, y) \\[0.7em]
&= \sum_{x=0}^{\infty} \sum_{y=0}^{\infty} x f_{X, Y}(x, y) \quad (\because~\text{シグマの入れ替え})\\[0.7em]
&= \sum_{x=0}^{\infty} x f_{X}(x) \\[0.7em]
&= E_{X}[X]
\end{align}
2の証明
こちらは，左辺の項をそれぞれ計算していきます。先ほど証明した1.の定理も利用します。1つ目の項は
\begin{align}
E_{Y} \left[ V_{X|Y}[X | Y] \right]
&= E_{Y} \left[ E_X [X^2 | Y] - E_X[X | Y]^2 \right] \\[0.7em]
&= E_{X} [X^2] - E_{Y} \left[ E_{X} [X|Y]^2 \right]
\end{align}
E_{Y} \left[ V_{X|Y}[X | Y] \right]
&= E_{Y} \left[ E_X [X^2 | Y] - E_X[X | Y]^2 \right] \\[0.7em]
&= E_{X} [X^2] - E_{Y} \left[ E_{X} [X|Y]^2 \right]
\end{align}
となります。2つ目の項は
\begin{align}
V_{Y} \left[ E_{X}[X | Y] \right]
&= E_{Y} \left[ E_{X} [X | Y]^2 \right] - E_{Y} \left[ E_{X}[X|Y] \right]^2 \\[0.7em]
&= E_{Y} \left[ E_{X} [X | Y]^2 \right] - E_{X} [X]^2
\end{align}
V_{Y} \left[ E_{X}[X | Y] \right]
&= E_{Y} \left[ E_{X} [X | Y]^2 \right] - E_{Y} \left[ E_{X}[X|Y] \right]^2 \\[0.7em]
&= E_{Y} \left[ E_{X} [X | Y]^2 \right] - E_{X} [X]^2
\end{align}
したがって，以下が成り立ちます。
\begin{align}
& E_{Y} \left[ V_{X|Y}[X | Y] \right] + V_{Y} \left[ E_{X|Y} [X | Y] \right] \notag \\[0.7em]
&= \left( E_{X} [X^2] - E_{Y} \left[ E_{X} [X|Y]^2 \right] \right) + \left( E_{Y} \left[ E_{X} [X | Y]^2 \right] - E_{X} [X]^2 \right) \\[0.7em]
&= E_{X} [X^2] - E_{X} [X]^2 \\[0.7em]
&= V_{X} [X]
\end{align}
& E_{Y} \left[ V_{X|Y}[X | Y] \right] + V_{Y} \left[ E_{X|Y} [X | Y] \right] \notag \\[0.7em]
&= \left( E_{X} [X^2] - E_{Y} \left[ E_{X} [X|Y]^2 \right] \right) + \left( E_{Y} \left[ E_{X} [X | Y]^2 \right] - E_{X} [X]^2 \right) \\[0.7em]
&= E_{X} [X^2] - E_{X} [X]^2 \\[0.7em]
&= V_{X} [X]
\end{align}
3の証明
分散の定義を用いて計算していきます。
\begin{align}
V_{X | Y} [X | Y] &= E_{X|Y} \left[ \left( X - E_{X|Y} [X | Y] \right)^2 | Y \right] \\[0.7em]
&= E_{X|Y} [X^2] - 2E_{X|Y}[X E_{X|Y} [X|Y]|Y] + E_{X|Y} \left[ E_{X|Y} [X|Y]^2 | Y \right]
\end{align}
V_{X | Y} [X | Y] &= E_{X|Y} \left[ \left( X - E_{X|Y} [X | Y] \right)^2 | Y \right] \\[0.7em]
&= E_{X|Y} [X^2] - 2E_{X|Y}[X E_{X|Y} [X|Y]|Y] + E_{X|Y} \left[ E_{X|Y} [X|Y]^2 | Y \right]
\end{align}
第二項目を計算します。
\begin{align}
E_{X|Y} \left[ XE_{X|Y}[X|Y]|Y \right] &= E_{X|Y} \left[ X \sum_{x=0}^{\infty} xf_{X|Y}(x|y) \right] \\[0.7em]
&= \sum_{x^{\prime}=0}^{\infty} x^{\prime} f_{X|Y}(x^{\prime}|y) \sum_{x=0}^{\infty} xf_{X|Y}(x|y) \\[0.7em]
&= \left( \sum_{x=0}^{\infty} xf_{X|Y}(x|y) \right) ^2 \\[0.7em]
&= E[X | Y]^2
\end{align}
E_{X|Y} \left[ XE_{X|Y}[X|Y]|Y \right] &= E_{X|Y} \left[ X \sum_{x=0}^{\infty} xf_{X|Y}(x|y) \right] \\[0.7em]
&= \sum_{x^{\prime}=0}^{\infty} x^{\prime} f_{X|Y}(x^{\prime}|y) \sum_{x=0}^{\infty} xf_{X|Y}(x|y) \\[0.7em]
&= \left( \sum_{x=0}^{\infty} xf_{X|Y}(x|y) \right) ^2 \\[0.7em]
&= E[X | Y]^2
\end{align}
第三項目を計算します。$X|Y$に関する期待値を2重に考えていることに注意すると，1回目の期待値を取る操作で中身は定数になっていると考えられるので，外側の期待値はそのまま外れてしまいます。
\begin{align}
E_{X|Y} \left[ E_{X|Y}[X|Y]^2 | Y \right] &= E_{X|Y}[X|Y]^2
\end{align}
E_{X|Y} \left[ E_{X|Y}[X|Y]^2 | Y \right] &= E_{X|Y}[X|Y]^2
\end{align}
結局，以下の関係が導かれます。
\begin{align}
V_{X | Y} [X | Y] &= E_{X|Y} [X^2] - 2E_{X|Y} \left[ X E_{X|Y}[X|Y] | Y \right] + E_{X|Y} \left[ E_{X|Y}[X|Y]^2 | Y \right] \\[0.7em]
&= E_{X|Y} [X^2] - 2E_{X|Y} [X | Y]^2 + E_{X|Y}[X|Y]^2 \\[0.7em]
&= E_{X|Y} [X^2] - E_{X|Y} [X | Y]^2
\end{align}
V_{X | Y} [X | Y] &= E_{X|Y} [X^2] - 2E_{X|Y} \left[ X E_{X|Y}[X|Y] | Y \right] + E_{X|Y} \left[ E_{X|Y}[X|Y]^2 | Y \right] \\[0.7em]
&= E_{X|Y} [X^2] - 2E_{X|Y} [X | Y]^2 + E_{X|Y}[X|Y]^2 \\[0.7em]
&= E_{X|Y} [X^2] - E_{X|Y} [X | Y]^2
\end{align}
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント