本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
確率変数の独立
確率変数$X$と$Y$が離散型確率変数である場合，$X,Y$が互いに独立であるとは
p_{XY}(x,y) &= p_{X}(x)p_{y}(y)\label{独立性の定義1}
\end{align}
がすべての$x,y$について成り立つことをいう。$X$と$Y$が連続型確率変数である場合，$X,Y$が互いに独立であるとは
f_{XY}(x,y) &= f_{X}(x)p_{Y}(y)\label{独立性の定義2}
\end{align}
がすべての$x,y$について成り立つことをいう。離散型，連続型のいずれの場合でも，$X,Y$が互いに独立であるとは
F_{XY}(x,y) &= F_{X}(x)F_{Y}(y)\label{独立性の定義3}
\end{align}
がすべての$x,y$について成り立つことをいう。
分布関数を用いれば，離散型・連続型確率変数に対する定義を一挙に行うことができます。
同値性の証明
式($\ref{独立性の定義1}$)，式($\ref{独立性の定義2}$)，式($\ref{独立性の定義3}$)が同値であることを証明します。まず，式($\ref{独立性の定義2}$)と式($\ref{独立性の定義3}$)の同値性を証明します。式($\ref{独立性の定義3}$)の両辺を$x,y$のそれぞれで偏微分すると，
f_{XY}(x,y) &= f_{X}(x)f_{Y}(y)
\end{align}
が得られます。ただし，
f_{XY}(x,y) &= \frac{\partial^{n}F_{XY}(x,y)}{\partial x\partial y}\label{微分と分布関数の関係}
\end{align}
を利用しました。ゆえに，式($\ref{独立性の定義2}$)と式($\ref{独立性の定義3}$)が同値であることが示されました。次に，式($\ref{独立性の定義1}$)と式($\ref{独立性の定義3}$)の同値性を証明します。やや天下り的ですが，包除原理により導かれる恒等式
&P(x<X\leq x+\Delta x, y<Y\leq y+\Delta y)\notag\\[0.7em]
&\quad\quad= F(x+\Delta x, y+\Delta y) - F(x+\Delta, y)-F(x, y+\Delta)+F(x, y)
\end{align}
を利用します。いま，式($\ref{独立性の定義3}$)が成り立つならば，
&P_{XY}(X=x,Y=y) \notag\\[0.7em]
&= \lim_{\Delta x,\Delta y \rarr 0}P_{XY}(x<X\leq x+\Delta x, y<Y\leq y+\Delta y)\\[0.7em]
&= \lim_{\Delta x,\Delta y \rarr 0}\left\{F_{XY}(x+\Delta x, y +\Delta y) - F_{XY}(x+\Delta x, y)-F_{XY}(x, y+\Delta y)+F_{XY}(x, y)\right\}\\[0.7em]
&{=} \lim_{\Delta x,\Delta y \rarr 0}\left\{F_{X}(x{+}\Delta x)F_{Y}(y{+}\Delta y) {-} F_{X}(x{+}\Delta x)F_{Y}(y) {-} F_{X}(x)F_{Y}(y{+}\Delta y){+}F_{X}(x)F_{Y}(y)\right\}\\[0.7em]
&= \lim_{\Delta x,\Delta y \rarr 0}\left\{F_{X}(x+\Delta x) - F_{X}(x)\right\}\cdot\left\{F_{Y}(y+\Delta y) - F_{Y}(y)\right\}\\[0.7em]
&= \lim_{\Delta x,\Delta y \rarr 0}\left\{P_{X}(x<X\leq x+\Delta x)\cdot P_{Y}(y<Y\leq y+\Delta y)\right\}\\[0.7em]
&= \lim_{\Delta x\rarr 0}P_{X}(x<X\leq x+\Delta x)\cdot \lim_{\Delta y\rarr 0}P_{Y}(y<Y\leq y+\Delta y)\\[0.7em]
&= P_{X}(X=x)\cdot P_{Y}(Y=y)
\end{align}
が得られますので，式($\ref{独立性の定義3}$)ならば式($\ref{独立性の定義1}$)が示されました。逆に，式($\ref{独立性の定義1}$)が成り立つならば，
\sum_{x}\sum_{y}p(x,y) &= \sum_{x}\sum_{y}p_{X}(x)p_{y}(y) = \sum_{x}p_{X}(x)\sum_{y}p_{y}(y)
\end{align}
が成り立ちます。左辺は$F_{XY}(x,y)$を表し，右辺は$F_{X}(x)F_{Y}(y)$を表しますので，式($\ref{独立性の定義1}$)ならば式($\ref{独立性の定義3}$)が示されました。以上より，式($\ref{独立性の定義1}$)，式($\ref{独立性の定義2}$)，式($\ref{独立性の定義3}$)の同値性が証明されました。
補足
確率変数の独立は，素朴な確率・条件付き確率・条件付き確率関数を用いて定義することもできます。確率を用いた場合は以下のようになりますし，
二つの確率変数$X$と$Y$が以下を満たすとき，$X$と$Y$は独立であるという。
p(x,y) &= p(x)\cdot p(y)
\end{align}
条件付き確率を用いた場合は以下のようになりますし，
二つの確率変数$X$と$Y$が以下のいずれかを満たすとき，$X$と$Y$は独立であるという。
p(y|x) &= p(y)\\[0.7em]
p(x|y) &= p(x)
\end{align}
条件付き確率関数を用いた場合は以下のようになります。
二つの確率変数$X$と$Y$が以下のいずれかを満たすとき，$X$と$Y$は独立であるという。
f_{Y|X}(y|x) &= f_{Y}(y)\\[0.7em]
f_{X|Y}(x|y) &= f_{X}(x)
\end{align}
条件付き確率関数を用いた定義に関しては，式($主題$)と整合性を保つため下記のように定義されることもあります。
確率変数$Z$が与えられたときに$X$と$Y$が以下を満たすとき，$X$と$Y$は独立であるという。
f_{X,Y|Z=z}(x,y) &= f_{X|Z=z}(x)f_{Y|Z=z}(y)
\end{align}
「$Y$を条件付けても密度が変化しないこと」として定義することもできます。
確率変数$Z$が与えられたときに$X$と$Y$が以下を満たすとき，$X$と$Y$は独立であるという。
f_{X|Y,Z}(x) &= f_{X|Z}(x)
\end{align}
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント