【徹底解説】相互情報量の求め方

URLをコピーする
URLをコピーしました!
zuka

こんにちは。
zuka(@beginaid)です。

本記事では,相互情報量を求める際の定石についてまとめます。

本記事では初学者の分かりやすさを優先するため,多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。

目次

結論

以下のような計算をすれば良いです。

\begin{align}
I(X ; Y) &= \sum_{x \in X, y \in Y} P(x, y) \log \frac{P(x, y)}{P(x) P(y)}
\end{align}

計算過程

計算過程は以下です。

\begin{align}
I(X ; Y) &= H(X) – H(X \mid Y) \\
&=-\sum_{x \in X} P(x) \log P(x)-\left(-\sum_{y \in Y} \sum_{x \in X} P(x, y) \log P(x \mid y)\right) \\
&=-\sum_{x \in X} \sum_{y \in Y} P(x, y) \log P(x)+\sum_{x \in X} \sum_{y \in Y} P(x, y) \log P(x \mid y) \\
&=\sum_{x \in X} \sum_{y \in Y} P(x, y) \log \frac{P(x \mid y)}{P(x)} \\
&=\sum_{x \in X} \sum_{y \in Y} P(x, y) \log \frac{P(x, y)}{P(x) P(y)} \\
&=\sum_{x \in X, y \in Y} P(x, y) \log \frac{P(x, y)}{P(x) P(y)}
\end{align}

シェアはこちらからお願いします!
URLをコピーする
URLをコピーしました!

コメント

コメントする

目次
閉じる