統計検定1級の過去問解答解説を行います。目次は以下をご覧ください。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
問題
統計検定1級の過去問からの出題になります。統計検定の問題の著作権は日本統計学会に帰属していますので，本稿にて記載することはできません。「演習問題を俯瞰する」で詳しく紹介している公式の過去問題集をご購入いただきますようお願い致します。
解答
フィッシャー情報量の逆数と漸近分散が一致することを確認する問題です。
小問1
期待値の線形性と確率変数の独立を用いた分散の展開を利用する問題です。確率変数が独立の場合は分散も期待値と同じように確率変数の和の分散を分散の和に展開することができます。指数分布のページでも説明している通り，指数分布の平均は$1/\lambda$，分散は$1/\lambda^2$になります。
E[\overline{X}] &= \frac{1}{n} E\left[ \sum_{i=1}^n X_i\right] \\[0.7em]
&= \frac{1}{n} \cdot nE[X] \\[0.7em]
&= E[X] \\[0.7em]
&= \frac{1}{\lambda} \\[0.7em]
V[\overline{X}] &= \frac{1}{n^2} V\left[ \sum_{i=1}^n X_i\right] \\[0.7em]
&= \frac{1}{n^2} \cdot nV[X] \\[0.7em]
&= \frac{1}{n \lambda^2}
\end{align}
小問2
$n$個の独立な確率変数が得られていますので，各変数の確率密度関数の積として同時確率密度関数を導出し，その対数尤度を最大にするパラメータ$\lambda$が求める最尤推定値$\hat{\lambda}$です。
f(x_1, \ldots, x_n) &= \prod_{i=1}^n f(x_i) \\[0.7em]
&= \lambda^n e^{-\lambda (x_1 + \cdots + x_n)} \\[0.7em]
&= \lambda^n e^{-\lambda t}
\end{align}
したがって，対数尤度は
\log f(x_1, \ldots, x_n) &= n\log \lambda - \lambda t
\end{align}
となります。対数尤度を$\lambda$で偏微分して$0$とおいて，最尤推定量$\lambda$を求めましょう。
\frac{\partial f}{\partial \lambda} &= \frac{n}{\lambda} - t = 0 \\[0.7em]
\therefore \hat{\lambda} &= \frac{n}{t} \\[0.7em]
&= \frac{1}{t/n} \\[0.7em]
&= \frac{1}{\overline{x}}
\end{align}
小問3
「対数尤度関数がパラメータに関して$2$階微分可能」かつ「確率密度関数のパラメータに関する第二次導関数を確率変数に関して積分すると$0$」である条件下では，フィッシャー情報量は対数尤度関数に二回微分を用いて簡単に計算することができます。対数尤度関数である
\log f(x_1, \ldots, x_n) &= n\log \lambda - \lambda t
\end{align}
は$\lambda$に関して$2$階微分可能かつ
\int f^{\prime \prime}(x_1, \ldots, x_n) dx &= 0
\end{align}
が成り立ちますので，フィッシャー情報量は対数尤度関数の二階微分を用いて求められます。
i_n (\lambda) &= - E\left[ \frac{\partial^2}{\partial \lambda^2} \ln f \right] \\[0.7em]
&= -E\left[ - \frac{n}{\lambda^2} \right] \\[0.7em]
&= \frac{n}{\lambda^2}
\end{align}
小問4
最尤推定量の分散は，$n\rightarrow \infty$という漸近的な状況でフィッシャー情報量の逆数に一致します。このことをデルタ法を用いて示します。デルタ法では，まず正規漸近性をもつ確率変数を考え，その確率変数に対して変数変換を行います。その変数変換を関数として捉えてテイラー展開を行うことで，変数変換後の期待値と分散を近似しようというものでした。
いま求めたいのは$1/\overline{x}$の漸近分散です。中心極限定理より$\overline{x}$は$\calN(1/\lambda, 1/n\lambda^2)$に従いますので，正規漸近性をもちます。また，変数変換を$g(X) = 1/X$とすると，デルタ法を用いて$1/\overline{x}$の漸近分散を近似することができます。
テイラー展開により1次の項までの近似を考えると，
g(\overline{X}) &\approx g(\mu_\overline{X}) + (\overline{X} - \mu_{\overline{X}})g^{\prime}(\mu_{\overline{X}}) \\[0.7em]
V[g(\overline{X})] &\approx V[\overline{X}g^{\prime}(\mu_{\overline{X}})] \quad (\because~\text{定数の分散は}0) \\[0.7em]
&= \left\{ g^{\prime}(\mu_{\overline{X}}) \right\}^2 \sigma_{\overline{X}}^2 \\[0.7em]
&= \left\{ -\frac{1}{\mu_{\overline{X}}^2} \right\}^2 \sigma_{\overline{X}}^2 \\[0.7em]
&= \left\{ -\frac{1}{(1/\lambda)^2} \right\}^2 \frac{1}{n\lambda^2} \\[0.7em]
&= \frac{\lambda^2}{n}
\end{align}
ちなみに，最尤推定量は$n\rightarrow \infty$という漸近的な状況において，その期待値は母平均に近づき，分散はフィッシャー情報量の逆数，すなわちクラメール・ラオの不等式の下界に近づきます。さらに，その漸近分布は正規分布になります。
コメント