統計検定1級の過去問解答解説を行います。目次は以下をご覧ください。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
問題
統計検定1級の過去問からの出題になります。統計検定の問題の著作権は日本統計学会に帰属していますので，本稿にて記載することはできません。「演習問題を俯瞰する」で詳しく紹介している公式の過去問題集をご購入いただきますようお願い致します。
解答
多項分布における尤度比検定と適合度検定の漸近性に関する考察を行う問題です。「漸近」というのは$n$が十分大きいときに近づくという意味ですので，$n\rightarrow \infty$の極限を考えてあげればよいです。
小問1
多項分布の最尤推定は厄介です。なぜなら，パラメータに関する制約条件があるからです。制約条件下の極値問題はラグランジュの未定乗数法を利用します。以下のラグランジュ関数を考えます。
L(\lambda, \theta_1, \ldots, \theta_m)
&= \log \frac{n!}{x_1!\cdots x_m!}\theta_1^{x_1}\cdots \theta_m^{x_m} - \lambda (\theta_1 + \ldots + \theta_m - 1) \\[0.7em]
&\propto x_1\log\theta_1 + \ldots + x_m\log\theta_m - \lambda(\theta_1 + \ldots + \theta_m - 1)
\end{align}
$L$を$\theta_1$で微分します。
\frac{\partial L}{\partial \theta_1}(\lambda, \theta_1, \ldots, \theta_m)
&= \frac{x_1}{\theta_1} - \lambda \\[0.7em]
&= 0 \\[0.7em]
\therefore \; \hat{\theta}_1 &= \frac{x_1}{\lambda}
\end{align}
$\theta_2,\ldots, \theta_m$で微分すれば，同様の式が得られます。それらを制約条件$\sum_i \hat{\theta}_i = 1$に代入すれば，
\frac{x_1}{\lambda} + \cdots + \frac{x_m}{\lambda} &= 1 \\[0.7em]
\frac{\sum_{i=1}^m x_i}{\lambda} &= 1 \\[0.7em]
\frac{n}{\lambda} &= 1 \\[0.7em]
\lambda &= n
\end{align}
となります。したがって，$\theta_1$の最尤推定値は以下のように求められます。
\hat{\theta_1} &= \frac{x_1}{\lambda} \\[0.7em]
&= \frac{x_1}{n}
\end{align}
小問2
尤度比統計検定量$\Lambda$は，パラメータに帰無仮説で設定された値を代入したものと最尤推定値を代入したものの比で，以下のように表されます。
\Lambda &= \frac{\frac{n!}{x_1!\cdots x_m!}\theta_{10}^{x_1}\cdots \theta_{m0}^{x_m}}{\frac{n!}{x_1!\cdots x_m!}(x_1/n)^{x_1}\cdots (x_m/n)^{x_m}} \\[0.7em]
&= \left( \frac{n\theta_{10}}{x_1} \right)^{x_1} \cdots \left( \frac{n\theta_{m0}}{x_m} \right)^{x_m}
\end{align}
分母に最尤推定量を設定したときは，尤度比検定の統計検定量は$-2\log \Lambda$です。
-2\log \Lambda &= -2 \sum_{j=1}^m x_j \log \left( \frac{n\theta_{j0}}{x_j} \right) \\[0.7em]
&= 2 \sum_{j=1}^m x_j \log \left( \frac{x_j}{n\theta_{j0}} \right)
\end{align}
これは$n$が大きいと近似的に自由度$m - 1$のカイ二乗分布に従います。（別ページにて証明準備中）
小問3
多項分布のページでお伝えして居る通り，多項分布の平均は
E[X_j] &= n\theta_{j0}
\end{align}
となります。したがって，適合度検定の統計量は以下のようになります。
Y &= \sum_{j=1}^{m} \frac{(X_j - n\theta_{j0})^2}{n\theta_{j0}}
\end{align}
この$Y$は$n$が大きいときに自由度$m-1$のカイ二乗分布に従います。（別ページにて証明準備中）
小問4
$n$が大きいときには，帰無仮説の下では$X$は近似的に以下の正規分布に従います。
X \sim \calN (np_0, np_0(1 - p_0))
\end{align}
したがって，以下の標準化された確率変数は標準正規分布$\calN(0, 1)$に従います。
Z &= \frac{X/n - p_0}{\sqrt{p_0(1 - p_0)/n}}
\end{align}
今は適合度検定と一致することを示したいため，カイ二乗分布に従う確率変数にしたい気持ちがあります。すると，標準正規分布に従う確率変数の二乗は自由度$1$のカイ二乗分布に従うことを利用したくなります。つまり，
Z^2 &= \frac{(X/n - p_0)^2}{p_0(1 - p_0)/n} \\[0.7em]
&= \frac{(X - np_0)^2}{np_0(1 - p_0)}
\end{align}
は二乗は自由度$1$のカイ二乗分布に従うことを利用します。一方で，確率変数$Y$に$m=2$，$\theta_1=p_0$，$\theta_2=1-p_0$を代入すると，
Y &= \frac{(X - np_0)^2}{np_0} + \frac{\left\{ (n - X) - n(1 - p_0)\right\}^2}{n(1 - p_0)} \\[0.7em]
&= \frac{(X - np_0)^2}{np_0} + \frac{(X - np_0)^2}{n(1 - p_0)} \\[0.7em]
&= \frac{(X - np_0)^2\left\{ (1 - p_0) + p_0 \right\}}{np_0(1 - p_0)} \\[0.7em]
&= \frac{(X - np_0)^2}{np_0(1 - p_0)}
\end{align}
となります。以上より，$n$が大きいときには正規近似の検定統計量$Z^2$と適合度検定の統計量$Y$が一致すること，すなわち$X$の正規近似による検定と適合度検定が一致することを示すことができました。
ちなみに，$p_0 = 0.5$のときは$-2\log \Lambda$の分布が$0.5$を中心として左右対称になるため，正規近似による検定は尤度比検定と同等と言えます。$p_0 \neq 0.5$の場合は，$-2\log \Lambda$の分布が左右非対称になってしまいますが，$n$が大きいときに両者は同等になります。このことは小問5で示します。
小問5
尤度比検定と適合度検定が漸近的に同等であることを示すためには，$n\rightarrow \infty$のときに統計量が一致することを示せばよいです。改めて2つの検定量を見直してみましょう。
-2\log \Lambda &= 2 \sum_{j=1}^m x_j \log \left( \frac{x_j}{n\theta_{j0}} \right) \\[0.7em]
Y &= \sum_{j=1}^{m} \frac{(X_j - n\theta_{j0})^2}{n\theta_{j0}}
\end{align}
この2つの極限が一致することを示します。方針としては，極限の定番である多項式近似を利用します。$Y$はすでに多項式の形になっているため，$-2\log \Lambda$の$\log$をマクローリン展開することで極限を求めてみましょう。その際，$Y$に現れる$x_j - n\theta_{j0}$という形を出現させることに注意してください。
-2\log \Lambda &= 2 \sum_{j=1}^m x_j \log \left( \frac{x_j}{n\theta_{j0}} \right) \\[0.7em]
&= 2 \sum_{j=1}^m x_j \log \left( \frac{x_j - n\theta_{j0} + n\theta_{j0}}{n\theta_{j0}} \right) \\[0.7em]
&= 2 \sum_{j=1}^m x_j \log \left( 1 + \frac{x_j - n\theta_{j0}}{n\theta_{j0}} \right)
\end{align}
ここで，$\log (1 + x)$の$2$次までのマクローリン展開は
\log (1+x) &\approx x - \frac{x^2}{2}
\end{align}
であることを利用します。なお，$2$次の近似で一致しない場合は近似の精度が甘いため$3$次以降の項も考慮する必要があります。いったん$2$次の近似で様子を見てみます。
&2 \sum_{j=1}^m x_j \log \left( 1 + \frac{x_j - n\theta_{j0}}{n\theta_{j0}} \right) \notag \\[0.7em]
&\approx 2 \sum_{j=1}^m x_j \left\{ \frac{x_j - n\theta_{j0}}{n\theta_{j0}} - \frac{(x_j - n\theta_{j0})^2}{2(n\theta_{j0})^2} \right\} \\[0.7em]
&= 2 \sum_{j=1}^m \left( x_j - n\theta_{j0} + n\theta_{j0} \right) \left\{ \frac{x_j - n\theta_{j0}}{n\theta_{j0}} - \frac{(x_j - n\theta_{j0})^2}{2(n\theta_{j0})^2} \right\} \\[0.7em]
&= 2 \sum_{j=1}^m \left\{ \frac{(x_j - n\theta_{j0})^2}{n\theta_{j0}} - \frac{(x_j - n\theta_{j0})^3}{2(n\theta_{j0})^2}
+ (x_j - n\theta_{j0}) - \frac{(x_j - n\theta_{j0})^2}{2(n\theta_{j0})} \right\} \\[0.7em]
&= 2 \sum_{j=1}^m \left\{ \frac{(x_j - n\theta_{j0})^2}{2n\theta_{j0}} - \frac{(x_j - n\theta_{j0})^3}{2(n\theta_{j0})^2}
+ (x_j - n\theta_{j0}) \right\} \\[0.7em]
&= \sum_{j=1}^m \frac{(x_j - n\theta_{j0})^2}{n\theta_{j0}} - \sum_{j=1}^m \frac{(x_j - n\theta_{j0})^3}{(n\theta_{j0})^2} + 2\left( \sum_{j=1}^m x_j - n\sum_{j=1}^m\theta_{j0} \right) \\[0.7em]
&= \sum_{j=1}^m \frac{(x_j - n\theta_{j0})^2}{n\theta_{j0}} - \sum_{j=1}^m \frac{(x_j - n\theta_{j0})^3}{(n\theta_{j0})^2} + 2\left(n - n \right) \\[0.7em]
&= \sum_{j=1}^m \frac{(x_j - n\theta_{j0})^2}{n\theta_{j0}} - \sum_{j=1}^m \frac{(x_j - n\theta_{j0})^3}{(n\theta_{j0})^2}
\end{align}
ここからの近似が少しマニアックです。要するに，第二項目を消去できれば第一項目のみが残って適合度検定の検定量と一致することを示すことができるのですが，単純に$n\rightarrow \infty$に飛ばしてしまうと$\infty$に飛んで行ってしまいます。そこで，$n$が大きいときは$n\theta_{j0}$が$x_j$の良い近似になること，すなわち$x_j - n\theta_{j0}$が$n$に依らず一定で有限の値$c$の周辺に分布すると仮定します。すると，
\sum_{j=1}^m \left\{ \frac{(x_j - n\theta_{j0})^3}{2(n\theta_{j0})^2} \right\} &\approx
\sum_{j=1}^m \left\{ \frac{c^3}{2(n\theta_{j0})^2} \right\} \\[0.7em]
&\longrightarrow 0
\end{align}
となるため，第二項目が消去できることになります。この近似に従えば，尤度比検定と適合度検定の検定量が一致，すなわち両者が漸近的に同等であることが示すことができます。
ここまできて$\log (1 + x)$のマクローリン展開による$2$次近似が妥当だったことが分かります。
コメント