本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
目次
多変量モーメント母関数の性質
$M_{\mX}(\cdot)$を$\mX \in \bbR^{D}$のモーメント母関数とするとき，以下が成り立つ。
\begin{align}
M_{\mX}^{\prime}(\vzero) &\equiv \left.\frac{d}{d\vt}M_{\mX}(\vt)\right|_{\vt=\vzero} \\[0.7em]
&= E\left[\mX\right] \\[0.7em]
M_{\mX}^{\prime\prime}(\vzero) &\equiv \left.\frac{d^2}{d\vt^2}M_{\mX}(\vt)\right|_{\vt=\vzero} \\[0.7em]
&= E\left[\mX\mX^T\right]
\end{align}
M_{\mX}^{\prime}(\vzero) &\equiv \left.\frac{d}{d\vt}M_{\mX}(\vt)\right|_{\vt=\vzero} \\[0.7em]
&= E\left[\mX\right] \\[0.7em]
M_{\mX}^{\prime\prime}(\vzero) &\equiv \left.\frac{d^2}{d\vt^2}M_{\mX}(\vt)\right|_{\vt=\vzero} \\[0.7em]
&= E\left[\mX\mX^T\right]
\end{align}
モーメント母関数の性質を多変量に拡張し，一階微分と二階微分のみを考えた定理です。
$X$のモーメント母関数$E[e^{\vt^T X}]$は行列指数関数です。
行列指数関数
行列$X \in \bbR^{D \times D}$の指数関数は，以下の冪級数で定義される。
\begin{align}
e^{X} &= \sum_{d=1}^{\infty} \frac{1}{d!} X^{d} \label{定義：行列指数関数}
\end{align}
e^{X} &= \sum_{d=1}^{\infty} \frac{1}{d!} X^{d} \label{定義：行列指数関数}
\end{align}
定義(\ref{定義：行列指数関数})と期待値の線形性を利用すれば，多変量のモーメント母関数は以下のように式変形できます。
\begin{align}
M_{\mX}(\vt) &= E[e^{\vt^T X}] \\[0.7em]
&= E\left[1 + \vt^T X + \frac{(\vt^T X)^2}{2} + \cdots \right] \\[0.7em]
&= E[\vt^T X] + \frac{E[\vt^TX X^T \vt]}{2} + \cdots
\end{align}
M_{\mX}(\vt) &= E[e^{\vt^T X}] \\[0.7em]
&= E\left[1 + \vt^T X + \frac{(\vt^T X)^2}{2} + \cdots \right] \\[0.7em]
&= E[\vt^T X] + \frac{E[\vt^TX X^T \vt]}{2} + \cdots
\end{align}
ここで両辺を$\mX$に関して微分して$M^{\prime}(\vt)$と$M^{\prime\prime}(\vt)$を求めていきましょう。ただし，行列の微分として以下の公式を利用します。
\begin{align}
\frac{\partial}{\partial \mX} \mX^T A &= A \\[0.7em]
\frac{\partial}{\partial \mX} \mX^T A X &= \left(A+A^T\right) \mX
\end{align}
\frac{\partial}{\partial \mX} \mX^T A &= A \\[0.7em]
\frac{\partial}{\partial \mX} \mX^T A X &= \left(A+A^T\right) \mX
\end{align}
実際に計算していきましょう。
\begin{align}
\frac{d}{d\vt}M_{\mX}(\vt) &= \frac{d}{d\vt}\left( E[\vt^T \mX] + \frac{E[X^T\vt\vt^T \mX]}{2} + \cdots\right) \\[0.7em]
&= E\left[ \frac{d}{d\vt} \vt^T \mX \right] + \frac{1}{2}E\left[ \frac{d}{d\vt}\left( \vt^T\mX \mX^T \vt \right)\right] + \cdots \\[0.7em]
&= E[\mX] + \frac{1}{2}E\left[\left( \mX\mX^T + \mX \mX^T \right)\right]\vt + \cdots \\[0.7em]
&= E[\mX] + E[\mX\mX^T]\vt +\cdots \label{期待値}\\[0.7em]
\frac{d^2}{d\vt^2}M_{\mX}(\vt) &= \frac{d}{d\vt}\left( E[\mX] + E[\mX\mX^T]\vt +\cdots \right) \\[0.7em]
&= E[\mX\mX^T] + \cdots \label{分散}
\end{align}
\frac{d}{d\vt}M_{\mX}(\vt) &= \frac{d}{d\vt}\left( E[\vt^T \mX] + \frac{E[X^T\vt\vt^T \mX]}{2} + \cdots\right) \\[0.7em]
&= E\left[ \frac{d}{d\vt} \vt^T \mX \right] + \frac{1}{2}E\left[ \frac{d}{d\vt}\left( \vt^T\mX \mX^T \vt \right)\right] + \cdots \\[0.7em]
&= E[\mX] + \frac{1}{2}E\left[\left( \mX\mX^T + \mX \mX^T \right)\right]\vt + \cdots \\[0.7em]
&= E[\mX] + E[\mX\mX^T]\vt +\cdots \label{期待値}\\[0.7em]
\frac{d^2}{d\vt^2}M_{\mX}(\vt) &= \frac{d}{d\vt}\left( E[\mX] + E[\mX\mX^T]\vt +\cdots \right) \\[0.7em]
&= E[\mX\mX^T] + \cdots \label{分散}
\end{align}
以上より，$\vt=\vzero$を式($\ref{期待値}$)と式($\ref{分散}$)に代入すると本定理が得られます。
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント