本記事は情報理論の徹底解説シリーズに含まれます。
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。
目次
結論
以下のような計算をすれば良いです。
\begin{align}
I(X ; Y) &= \sum_{x \in X, y \in Y} P(x, y) \log \frac{P(x, y)}{P(x) P(y)}
\end{align}
I(X ; Y) &= \sum_{x \in X, y \in Y} P(x, y) \log \frac{P(x, y)}{P(x) P(y)}
\end{align}
計算過程
計算過程は以下です。
\begin{align}
I(X ; Y) &= H(X) - H(X \mid Y) \\
&=-\sum_{x \in X} P(x) \log P(x)-\left(-\sum_{y \in Y} \sum_{x \in X} P(x, y) \log P(x \mid y)\right) \\
&=-\sum_{x \in X} \sum_{y \in Y} P(x, y) \log P(x)+\sum_{x \in X} \sum_{y \in Y} P(x, y) \log P(x \mid y) \\
&=\sum_{x \in X} \sum_{y \in Y} P(x, y) \log \frac{P(x \mid y)}{P(x)} \\
&=\sum_{x \in X} \sum_{y \in Y} P(x, y) \log \frac{P(x, y)}{P(x) P(y)} \\
&=\sum_{x \in X, y \in Y} P(x, y) \log \frac{P(x, y)}{P(x) P(y)}
\end{align}
I(X ; Y) &= H(X) - H(X \mid Y) \\
&=-\sum_{x \in X} P(x) \log P(x)-\left(-\sum_{y \in Y} \sum_{x \in X} P(x, y) \log P(x \mid y)\right) \\
&=-\sum_{x \in X} \sum_{y \in Y} P(x, y) \log P(x)+\sum_{x \in X} \sum_{y \in Y} P(x, y) \log P(x \mid y) \\
&=\sum_{x \in X} \sum_{y \in Y} P(x, y) \log \frac{P(x \mid y)}{P(x)} \\
&=\sum_{x \in X} \sum_{y \in Y} P(x, y) \log \frac{P(x, y)}{P(x) P(y)} \\
&=\sum_{x \in X, y \in Y} P(x, y) \log \frac{P(x, y)}{P(x) P(y)}
\end{align}
コメント