本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
目次
ディリクレ分布と多項分布
ディリクレ分布は多項分布の共役事前分布である。
証明
ディリクレ分布は多項分布の共役事前分布として導入しましたが，本稿では多項分布とディリクレ分布の確率関数が与えられた状況でディリクレ分布が多項分布の共役事前分布となっていることを確認しましょう。いま，多項分布の確率関数を以下のように置きます。
\begin{align}
p(x\mid \theta) &= \frac{n!}{x_1!\cdots x_K!}~\theta_1^{x_1}\cdots \theta_K^{x_K}
\end{align}
p(x\mid \theta) &= \frac{n!}{x_1!\cdots x_K!}~\theta_1^{x_1}\cdots \theta_K^{x_K}
\end{align}
ディリクレ分布の確率関数を以下のように置きます。
\begin{align}
p(\theta) &= \frac{1}{B(\valpha)} \prod_{k=1}^{K} \theta_{k}^{\alpha_{k}-1}
\end{align}
p(\theta) &= \frac{1}{B(\valpha)} \prod_{k=1}^{K} \theta_{k}^{\alpha_{k}-1}
\end{align}
ただし，$B(\cdot)$はベータ関数を表します。ここで，多項分布とディリクレ分布の確率関数の積，すなわち事後分布を計算してみます。
\begin{align}
p(\theta \mid x) &= \frac{p(x\mid \theta)p(\theta)}{p(x)} \\[0.7em]
&\propto p(x\mid \theta)p(\theta) \\[0.7em]
&\propto \prod_{k=1}^{K} \theta_{k}^{x_{k}+\alpha_{k}-1} \\[0.7em]
&= \prod_{k=1}^{K} \theta_{k}^{\beta_{k}} \label{事後分布}
\end{align}
p(\theta \mid x) &= \frac{p(x\mid \theta)p(\theta)}{p(x)} \\[0.7em]
&\propto p(x\mid \theta)p(\theta) \\[0.7em]
&\propto \prod_{k=1}^{K} \theta_{k}^{x_{k}+\alpha_{k}-1} \\[0.7em]
&= \prod_{k=1}^{K} \theta_{k}^{\beta_{k}} \label{事後分布}
\end{align}
ただし，
\begin{align}
\beta_k &= x_{k}+\alpha_{k}-1
\end{align}
\beta_k &= x_{k}+\alpha_{k}-1
\end{align}
と置きました。以上より，事後分布($\ref{事後分布}$)がディリクレ分布となることが分かりました。すなわち，ディリクレ分布が多項分布の共役事前分布であることが示されました。
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント