統計検定1級の過去問解答解説を行います。目次は以下をご覧ください。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
問題
統計検定1級の過去問からの出題になります。統計検定の問題の著作権は日本統計学会に帰属していますので，本稿にて記載することはできません。「演習問題を俯瞰する」で詳しく紹介している公式の過去問題集をご購入いただきますようお願い致します。
解答
二項分布における最尤推定と最小二乗法の比較に関する出題でした。
(1)
二項分布の定義より，$S_{n}$は二項分布に従う。$E[X_{i}]{=}\theta$より
E[S_{n}]
&= E\left[\sum_{i=1}^{n}X_{i}\right]
= \sum_{i=1}^{n}E[X_{i}]
= \sum_{i=1}^{n}\theta = n\theta
\end{align}
が得られる。同様に，$X_{1},\ldots,X_{n}$が独立であることに注意すると，$V[X_{i}]{=}\theta(1{-}\theta)$より
V[S_{n}]
&= V\left[\sum_{i=1}^{n}X_{i}\right]
= \sum_{i=1}^{n}V[X_{i}]
= \sum_{i=1}^{n}\theta(1-\theta) = n\theta(1-\theta)
\end{align}
が得られる。
(2)
$X_{1},\ldots,X_{n}$の同時確率質量関数は
f(x_{1},\ldots,x_{n}|\theta)
&= \theta^{\sum_{i=1}^{n}x_{i}}(1-\theta)^{n-\sum_{i=1}^{n}x_{i}}
= \left\{\theta^{T(x)}(1-\theta)^{n-T(x)}\right\}\cdot 1
\end{align}
となり，同時確率質量関数を$g(T(x)|\theta)h(x)$の形に分解できるため，フィッシャー・ネイマンの分解定理より$\sum_{i=1}^{n}x_{i}$は$\theta$の十分統計量であることが示された。また，同時確率質量関数の対数尤度は
\log l(\theta)
&= \sum_{i=1}^{n}x_{i}\log \theta+\left(n-\sum_{i=1}^{n}x_{i}\right)\log(1-\theta)
\end{align}
となるため，$\theta$で偏微分して$0$とおくことで，
\frac{\partial \log l(\theta)}{\partial \theta}
&= \frac{\sum_{i=1}^{n}x_{i}}{\theta}-\frac{n-\sum_{i=1}^{n}x_{i}}{1-\theta} = 0
\end{align}
となる。これを整理すると，
\hat{\theta}_{\ML} &= \frac{1}{n}\sum_{i=1}^{n}x_{i} = \frac{S_{n}}{n}
\end{align}
が得られる。
(3)
平均二乗誤差は以下のように展開される。
\MSE[T_{n}]
&= E[(\alpha_{n}S_{n}+\beta_{n}-\theta)^{2}]
= E[(\alpha_{n}S_{n}+\beta_{n})^{2}-2(\alpha_{n}S_{n}+\beta_{n})\theta+\theta^{2}]\\[0.7em]
&= E[\alpha_{n}^{2}S_{n}^{2}+2\alpha_{n}\beta_{n}S_{n}+\beta_{n}^{2}-2(\alpha_{n}S_{n}+\beta_{n})\theta+\theta^{2}]\\[0.7em]
&= \alpha_{n}^{2}E[S_{n}^{2}]+2\alpha_{n}\beta_{n}E[S_{n}]+\beta_{n}^{2}-2(\alpha_{n}E[S_{n}]+\beta_{n})\theta+\theta^{2}
\end{align}
ここで，
E[S_{n}^{2}]
&= V[S_{n}] + (E[S_{n}])^{2}
= n\theta(1-\theta)+n^{2}\theta^{2}
= n(n-1)\theta^{2}+n\theta
\end{align}
より，
\MSE[T_{n}]
&= \alpha_{n}^{2}\left\{n(n-1)\theta^{2}+n\theta\right\}+2n\alpha_{n}\beta_{n}\theta+\beta_{n}^{2}-2(n\alpha_{n}\theta+\beta_{n})\theta+\theta^{2}\\[0.7em]
&= \left\{n(n-1)\alpha_{n}^{2}-2n\alpha_{n}+1\right\}\theta^{2}+\left\{n\alpha_{n}^{2}+2(n\alpha_{n}-1)\beta_{n}\right\}\theta+\beta_{n}^{2}\label{MSE}
\end{align}
が得られる。$\MSE[T_{n}]$が$\theta$によらず一定になるという条件から，
\begin{cases}
n(n-1)\alpha_{n}^{2}-2n\alpha_{n}+1 = 0\\[0.7em]
n\alpha_{n}^{2}+2(n\alpha_{n}-1)\beta_{n} = 0
\end{cases}
が得られる。連立方程式の上式より
\alpha_{n}
&= \frac{2n\pm \sqrt{4n^{2}-4n(n-1)}}{2n(n-1)}
= \frac{n\pm\sqrt{n}}{n(n-1)}
\end{align}
が得られ，連立方程式の下式より
\beta_{n}
&= -\frac{n\alpha_{n}^{2}}{2(n\alpha_{n}-1)}
= -\frac{n}{2((n\pm\sqrt{n})/(n-1)-1)}\left\{\frac{n\pm\sqrt{n}}{n(n-1)}\right\}^{2}\\[0.7em]
&= -\frac{1}{2((n\pm\sqrt{n})-(n-1))}\frac{(n\pm\sqrt{n})^{2}}{n(n-1)}\\[0.7em]
&= -\frac{1}{2(\pm\sqrt{n}+1)}\frac{(\sqrt{n}\pm 1)^{2}}{n-1}
= -\frac{1}{2(1\pm \sqrt{n})}\frac{(1\pm\sqrt{n})^{2}}{n-1}\\[0.7em]
&= -\frac{1\pm\sqrt{n}}{2(n-1)}
\end{align}
が得られる。このとき，式($\ref{MSE}$)において$\theta$に関する項は消去されることに注意すると，
\MSE[T_{n}]
&= \beta_{n}^{2}
= \frac{(1\pm\sqrt{n})^{2}}{4(n-1)^{2}}
= \frac{(1\pm\sqrt{n})^{2}}{4(1+\sqrt{n})^{2}(1-\sqrt{n})^{2}}
= \frac{1}{4(1\mp\sqrt{n})^{2}}
\end{align}
となる。したがって，$\MSE[T_{n}]$を最小にする$\alpha_{n},\beta_{n}$は
\alpha_{n} = \frac{n-\sqrt{n}}{n(n-1)},\quad
\beta_{n} = \frac{\sqrt{n}-1}{2(n-1)}
\end{align}
となり，このとき
\MSE[T_{n}]
&= \frac{1}{4(1+\sqrt{n})^{2}}
\end{align}
となる。
(4)
(2)の結果より，
V[\hat{\theta}_{\ML}]
&= V\left[\frac{S_{n}}{n}\right]
= \frac{1}{n^{2}}V[S_{n}] = \frac{1}{n^{2}}n\theta(1-\theta)
= \frac{\theta(1-\theta)}{n}
\end{align}
となるため，$\MSE[T_{n}]$の方が$V[\hat{\theta}_{\ML}]$よりも小さくなるとき，$\theta$は
\frac{1}{4(1+\sqrt{n})^{2}} < \frac{\theta(1-\theta)}{n}
\end{align}
を満たす。これは$\theta$の二次不等式
\theta^{2}-\theta+\frac{n}{4(1+\sqrt{n})^{2}} < 0
\end{align}
であるから，これを解いて
\frac{1}{2}-\frac{\sqrt{2\sqrt{n}+1}}{2(\sqrt{n}+1)}
< \theta <
\frac{1}{2}+\frac{\sqrt{2\sqrt{n}+1}}{2(\sqrt{n}+1)}
\end{align}
が得られる。
コメント