統計検定1級の過去問解答解説を行います。目次は以下をご覧ください。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
問題
統計検定1級の過去問からの出題になります。統計検定の問題の著作権は日本統計学会に帰属していますので，本稿にて記載することはできません。「演習問題を俯瞰する」で詳しく紹介している公式の過去問題集をご購入いただきますようお願い致します。
解答
線形回帰モデルの係数の推定とその検定に関する出題でした。
(1)
$\varepsilon_{i}$が正規分布$\N(0, \sigma^{2})$に従うことから，$\beta$の対数尤度関数は，
\log l(\beta)
&= \log \prod_{i=1}f^{n}(y_{i}-\beta x_{i})
= -\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(y_{i}-\beta x_{i})^{2}-\frac{n}{2}\log (2\pi \sigma^{2})
\end{align}
となる。
(2)
$\log l(\beta)$を$\beta$で偏微分して$0$とおくと，
\frac{\partial \log l(\beta)}{\partial \beta}
&= -\frac{1}{\sigma^{2}}\sum_{i=1}^{n}x_{i}(y_{i}-\beta x_{i})
= 0
\end{align}
となる。これを整理すると，
\beta
&= \frac{\sum_{i=1}^{n}x_{i}y_{i}}{\sum_{i=1}^{n}x_{i}^{2}}
\end{align}
が得られる。したがって，
\hat{\beta}_{\ML}
&= \frac{\sum_{i=1}^{n}x_{i}Y_{i}}{\sum_{i=1}^{n}x_{i}^{2}}
\end{align}
となる。また，$Y_{i}$は確率変数であり$E[Y_{i}]{=}E[\beta x_{i}+\varepsilon_{i}]{=}\beta x_{i}$より，
E[\hat{\beta}_{\ML}]
&= E\left[\frac{\sum_{i=1}^{n}x_{i}Y_{i}}{\sum_{i=1}^{n}x_{i}^{2}}\right]
= \frac{\sum_{i=1}^{n}x_{i}E[Y_{i}]}{\sum_{i=1}^{n}x_{i}^{2}}
= \beta\frac{\sum_{i=1}^{n}x_{i}^{2}}{\sum_{i=1}^{n}x_{i}^{2}}
= \beta
\end{align}
となるため，$\hat{\beta}_{\ML}$は不偏推定量であることが示された。
(3)
フィッシャー情報量は
I_{n}(\beta)
&= E\left[\left(\frac{\partial \log l(\beta)}{\partial \beta}\right)^{2}\right]
= -E\left[\frac{\partial^{2} \log l(\beta)}{\partial \beta^{2}}\right]
= V\left[\frac{\partial \log l(\beta)}{\partial \beta}\right]
\end{align}
のいずれかで求めることができる。今回は(2)で1階微分を求めているため分散を用いることにすると，
I_{n}(\beta)
&= V\left[-\frac{1}{\sigma^{2}}\sum_{i=1}^{n}x_{i}(Y_{i}-\beta x_{i})\right]
= \frac{1}{\sigma^{4}}\sum_{i=1}^{n}(V[x_{i}Y_{i}]-V[\beta x_{i}])\\[0.7em]
&= \frac{1}{\sigma^{4}}\sum_{i=1}^{n}x_{i}^{2}V[Y_{i}]
= \frac{1}{\sigma^{4}}\sum_{i=1}^{n}x_{i}^{2}\sigma^{2}
= \frac{\sum_{i=1}^{n}x_{i}^{2}}{\sigma^{2}}
\end{align}
となる。ただし，総和の各項は独立であることを利用した。クラメール・ラオの下限は逆数を取ることにより
\frac{1}{I_{n}(\beta)} &= \frac{\sigma^{2}}{\sum_{i=1}^{n}x_{i}^{2}}
\end{align}
と求められる。
一般に，クラメール・ラオの不等式の等号を満たすような推定量（有効推定量）が存在する場合，最尤推定量は有効推定量に一致する性質があります。実際，
V[\hat{\beta}_{\ML}]
&= V\left[\frac{\sum_{i=1}^{n}x_{i}Y_{i}}{\sum_{i=1}^{n}x_{i}^{2}}\right]
= \frac{\sum_{i=1}^{n}x_{i}V[Y_{i}]}{(\sum_{i=1}^{n}x_{i}^{2})^{2}}
= \frac{\sum_{i=1}^{n}x_{i}\sigma^{2}}{(\sum_{i=1}^{n}x_{i}^{2})^{2}}
= \frac{\sigma^{2}}{\sum_{i=1}^{n}x_{i}^{2}}
\end{align}
となるため，クラメール・ラオの下限を達成していることが分かります。
(4)
$\tilde{\beta}$の期待値は
E\left[\frac{\sum_{i=1}^{n}Y_{i}}{\sum_{i=1}^{n}x_{i}}\right]
&= \frac{\sum_{i=1}^{n}E[Y_{i}]}{\sum_{i=1}^{n}x_{i}}
= \beta\frac{\sum_{i=1}^{n}x_{i}}{\sum_{i=1}^{n}x_{i}}
= \beta
\end{align}
となる。同様に，$\tilde{\beta}$の分散は
V\left[\frac{\sum_{i=1}^{n}Y_{i}}{\sum_{i=1}^{n}x_{i}}\right]
&= \frac{\sum_{i=1}^{n}V[Y_{i}]}{\left(\sum_{i=1}^{n}x_{i}\right)^{2}}
= \frac{\sum_{i=1}^{n}\sigma^{2}}{\left(\sum_{i=1}^{n}x_{i}\right)^{2}}
= \frac{n\sigma^{2}}{\left(\sum_{i=1}^{n}x_{i}\right)^{2}}
\end{align}
となる。
(5)
$\hat{\beta}_{\ML}$は$Y_{i}$の線形結合で表されているため，正規分布の再生性から$\hat{\beta}_{\ML}$も正規分布に従い，
\hat{\beta}_{\ML} &\sim \N\left(\beta, \frac{\sigma^{2}}{\sum_{i=1}^{n}x_{i}^{2}}\right)
\end{align}
となることが分かる。したがって，統計量
Z &= \frac{\hat{\beta}_{\ML}-\beta}{\sqrt{\sigma^{2}/\sum_{i=1}^{n}x_{i}^{2}}}
\end{align}
が標準正規分布に従うことを利用して検定を行う。帰無仮説$H_{0}$と対立仮説$H_{1}$に関する片側検定
H_{0}:\beta=0\quad\text{v.s.}\quad H_{1}:\beta> 0
\end{align}
について，標準正規分布の上側$\alpha$点を$z_{\alpha}$とおくと，棄却域は
\hat{\beta}_{\ML} > z_{\alpha}\frac{\sigma^{2}}{\sqrt{\sum_{i=1}^{n}x_{i}^{2}}}
\end{align}
となる。このとき，統計量$Z$は
Z > z_{\alpha}-\frac{\beta}{\sqrt{\sigma^{2}/\sum_{i=1}^{n}x_{i}^{2}}}
\end{align}
となるため，対立仮説の下での正規分布における片側確率
1-\Phi\left(z_{\alpha}-\frac{\beta}{\sqrt{\sigma^{2}/\sum_{i=1}^{n}x_{i}^{2}}}\right)
\end{align}
が検出力となる。ただし，$\Phi(\cdot)$は標準正規分布の累積分布関数である。同様に，$\tilde{\beta}$については
1-\Phi\left(z_{\alpha}-\frac{\beta}{\sqrt{n\sigma^{2}/(\sum_{i=1}^{n}x_{i})^{2}}}\right)
\end{align}
が検出力となる。ここで一般に，分散は非負の値を取ることから，
V[X] &= \frac{1}{n}\sum_{i=1}^{n}x_{i}^{2}-\left(\frac{1}{n}\sum_{i=1}^{n}x_{i}\right)^{2} \geq 0
\end{align}
が成り立つ。これを変形すると
\frac{n}{(\sum_{i=1}^{n}x_{i})^{2}} \geq \frac{1}{\sum_{i=1}^{n}x_{i}^{2}}
\end{align}
が成り立つ。これより
\Phi\left(z_{\alpha}-\frac{\beta}{\sqrt{\sigma^{2}/\sum_{i=1}^{n}x_{i}^{2}}}\right)
\leq
\Phi\left(z_{\alpha}-\frac{\beta}{\sqrt{n\sigma^{2}/(\sum_{i=1}^{n}x_{i})^{2}}}\right)
\end{align}
となるため，$\hat{\beta}_{\ML}$を用いた検定の方が検出力が大きくなることが示された。
対立仮説は複合仮説ですが，正規分布の単調尤度比性によりネイマン・ピアソンの補題を適用することができます。これにより，$\hat{\beta}_{\ML}$を用いた検定が一様最強力検定であることが示されます。本設問は全体を通して最尤推定量の便利さを実感できる構成になっていました。
コメント