統計検定1級の過去問解答解説を行います。目次は以下をご覧ください。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
問題
統計検定1級の過去問からの出題になります。統計検定の問題の著作権は日本統計学会に帰属していますので，本稿にて記載することはできません。「演習問題を俯瞰する」で詳しく紹介している公式の過去問題集をご購入いただきますようお願い致します。
解答
カイ二乗分布と二つの回帰モデルに関する出題でした。
(1)
\begin{cases}
E[W] = k\\[0.7em]
\displaystyle
E[1/W] = \frac{1}{k-2}&(k>2)
\end{cases}
\end{align}
期待値の定義より，
E[W]
&= \int_{0}^{\infty}w\frac{1}{2^{k/2}\Gamma(k/2)}w^{k/2-1}e^{-w/2}dw\\[0.7em]
&= \int_{0}^{\infty}\frac{1}{2^{k/2}\Gamma(k/2)}w^{(k+1)/2-1}e^{-w/2}dw\\[0.7em]
&= \frac{1}{2^{-1}\cdot 2/k}\int_{0}^{\infty}\frac{1}{2^{(k+2)/2}\Gamma((k+2)/2)}w^{(k+2)/2-1}e^{-w/2}dw\\[0.7em]
&= k
\end{align}
が得られます。同様に，
E[1/W]
&= \int_{0}^{\infty}\frac{1}{w}\frac{1}{2^{k/2}\Gamma(k/2)}w^{k/2-1}e^{-w/2}dw\\[0.7em]
&= \int_{0}^{\infty}\frac{1}{2^{k/2}\Gamma(k/2)}w^{(k-2)/2-1}e^{-w/2}dw\\[0.7em]
&= \frac{1}{2\cdot (k-2)/2}\int_{0}^{\infty}\frac{1}{2^{(k-2)/2}\Gamma((k-2)/2)}w^{(k-2)/2-1}e^{-w/2}dw\\[0.7em]
&= \frac{1}{k-2}
\end{align}
が得られます。ただし，ガンマ関数の定義域より$k>2$となります。
(2)
$W_{1}$の自由度は$n-p$，$W_{2}$の自由度は$p$で，$W_{1}$と$W_{2}$はそれぞれ独立である。
カイ二乗分布の自由度は期待値から判別できます。$P_{X}{=}X(X^{T}X)^{-1}X^{T}$とおくと，$W_{1}$の期待値は
E[W_{1}]
&= E\left[\frac{n\hat{\sigma}^{2}}{\sigma^{2}}\right]
= \frac{1}{\sigma^{2}}E[n\hat{\sigma}^{2}]
= \frac{1}{\sigma^{2}}E[(\mY-X\hat{\beta})^{T}(\mY-X\hat{\beta})]\\[0.7em]
&= \frac{1}{\sigma^{2}}E[(I_{n}\mY-X(X^{T}X)^{-1}X^{T}\mY)^{T}(I_{n}\mY-X(X^{T}X)^{-1}X^{T}\mY)]\\[0.7em]
&= \frac{1}{\sigma^{2}}E[((I_{n}-P_{X})\mY)^{T}((I_{n}-P_{X})\mY)]\label{5-1-1}
\end{align}
となります。ただし，$I_{n}$は$n$次元単位行列とします。ここで，
\begin{cases}
P_{X}^{T} = X((X^{T}X)^{-1})^{T}X^{T} = X((X^{T}X)^{T})^{-1}X^{T}
= X(X^{T}X)^{-1}X^{T} = P_{X}\\[0.7em]
P_{X}^{T}P_{X} = P_{X}^{2} = (X(X^{T}X)^{-1}X^{T})(X(X^{T}X)^{-1}X^{T}) = X(X^{T}X)^{-1}X^{T} = P_{X}\\[0.7em]
P_{X}X = X(X^{T}X)^{-1}X^{T}X = XI_{n} = X
\end{cases}
\end{align}
が成り立つことに注意すると，
(I_{n}-P_{X})\mY = (I_{n}-P_{X})(X\beta+\varepsilon) = (X\beta-X\beta)+(I_{n}-P_{X})\varepsilon
=(I_{n}-P_{X})\varepsilon
\end{align}
となるため，
E[((I_{n}-P_{X})\mY)^{T}((I_{n}-P_{X})\mY)]
&= E[((I_{n}-P_{X})\varepsilon)^{T}((I_{n}-P_{X})\varepsilon)]\\[0.7em]
&= E[\varepsilon^{T}(I_{n}-P_{X})^{T}(I_{n}-P_{X})\varepsilon)]\\[0.7em]
&= E[\varepsilon^{T}(I_{n}-P_{X}-P_{X}^{T}+P_{X}^{T}P_{X})\varepsilon]\\[0.7em]
&= E[\varepsilon^{T}(I_{n}-P_{X})\varepsilon]\\[0.7em]
&= E[\varepsilon^{T}\varepsilon]-\frac{1}{\sigma^{2}}E[\varepsilon^{T}P_{X}\varepsilon]
= \sigma^{2}n-E[\varepsilon^{T}P_{X}\varepsilon]\label{5-1-2}
\end{align}
となります。ただし，$E[\varepsilon^{T}\varepsilon]{=}E[\varepsilon_{1}^{2}+\cdots+\varepsilon_{n}^{2}]{=}n\sigma^{2}$を用いました。ここで，$\varepsilon^{T}P_{X}\varepsilon$がスカラーであるためトレースをとっても恒等変換となること，回帰モデルにおいては$X$と$\varepsilon$が独立であるため$P_{X}$と$\varepsilon$も独立になること，および行列$A,B$について$\Tr[AB]{=}\Tr[BA]$が成り立つことに注意すると，
E[\varepsilon^{T}P_{X}\varepsilon]
&= \Tr[E[\varepsilon^{T}P_{X}\varepsilon]]
= \Tr[E[\varepsilon^{T}]E[P_{X}]E[\varepsilon]]
= \Tr[E[P_{X}]E[\varepsilon^{T}]E[\varepsilon]]\notag\\[0.7em]
&= \Tr[E[P_{X}]E[\varepsilon^{T}\varepsilon]]
= \sigma^{2}\Tr[E[P_{X}]]
= \sigma^{2}\Tr[P_{X}]\notag\\[0.7em]
&= \sigma^{2}\Tr[X(X^{T}X)^{-1}X^{T}]=\sigma^{2}\Tr[X^{T}X(X^{T}X)^{-1}]
=\sigma^{2}\Tr[I_{p}]=\sigma^{2}p\label{5-1-3}
\end{align}
が成り立ちます。ただし，$\rank(X){=}p$を用いました。式($\ref{5-1-2}$)と式($\ref{5-1-3}$)を式($\ref{5-1-1}$)に代入すると，
E[W_{1}] &= \frac{1}{\sigma^{2}}\cdot \sigma^{2}n-\frac{1}{\sigma^{2}}\cdot \sigma^{2}p = n-p
\end{align}
となります。したがって，$W_{1}$が従うカイ二乗分布の自由度は$n-p$です。$W_{2}$についても同様に，
E[W_{2}]
&= \frac{1}{\sigma^{2}}E[(P_{X}\mY-X\beta)^{T}(P_{X}\mY-X\beta)]\\[0.7em]
&= \frac{1}{\sigma^{2}}E[(P_{X}\mY-(\mY-\varepsilon))^{T}(P_{X}\mY-(\mY-\varepsilon))]\\[0.7em]
&= \frac{1}{\sigma^{2}}E[((P_{X}-I_{n})\mY+\varepsilon)^{T}((P_{X}-I_{n})\mY+\varepsilon)]\\[0.7em]
&= \frac{1}{\sigma^{2}}\left\{
E[((P_{X}-I_{n})\mY)^{T}((P_{X}-I_{n})\mY)]+2((P_{X}-I_{n})\mY)^{T}E[\varepsilon]+E[\varepsilon^{T}\varepsilon]\right\}\\[0.7em]
&= \frac{1}{\sigma^{2}}\left\{
E[((P_{X}-I_{n})\mY)^{T}((P_{X}-I_{n})\mY)]+E[\varepsilon^{T}\varepsilon]\right\}\label{5-1-4}
\end{align}
ただし，$E[\varepsilon]$が$n$次元ゼロベクトルとなることを利用しました。ここで，式($\ref{5-1-2}$)において$I_{n}{-}P_{X}$を$P_{X}{-}I_{n}$と置き換えることにより，
\frac{1}{\sigma^{2}}E[((P_{X}-I_{n})\mY)^{T}((P_{X}-I_{n})\mY)] &= \frac{1}{\sigma^{2}}(\sigma^{2}p-\sigma^{2}n) = p-n
\end{align}
が得られますので，式($\ref{5-1-4}$)に代入すると
E[W_{2}]
&= (p-n)+\frac{1}{\sigma^{2}}\cdot\sigma^{2}n = p
\end{align}
が得られます。したがって，$W_{2}$が従うカイ二乗分布の自由度は$p$です。いま，恒等式
\frac{1}{\sigma^{2}}\varepsilon^{T}\varepsilon
&= \frac{1}{\sigma^{2}}(\mY-X\beta)^{T}(\mY-X\beta)\\[0.7em]
&= \frac{1}{\sigma^{2}}((\mY-X\hat{\beta})+(X\hat{\beta}-X\beta))^{T}((\mY-X\hat{\beta})+(X\hat{\beta}-X\beta))\\[0.7em]
&= W_{1}+W_{2}+2(\mY-X\hat{\beta})^{T}(X\hat{\beta}-X\beta) \equiv W_{1}+W_{2}+W_{3}
\end{align}
が成り立ちます。ただし，$2(\mY{-}X\hat{\beta})^{T}(X\hat{\beta}{-}X\beta){=}W_{3}$とおきました。$\varepsilon$が互いに独立に$\N(0,\sigma^{2})$に従う$n$次元確率変数ベクトルであることより，左辺は$\chi^{2}(n)$に従います。一方，上述の通り$W_{1}$と$W_{2}$はそれぞれ$\chi^{2}(n{-}p)$と$\chi^{2}(p)$に従います。カイ二乗分布の再生性より，$W_{1}$と$W_{2}$が独立ならば$W_{1}+W_{2}$は$\chi^{2}(n)$に従うため，$W_{3}{=}0$となります。一方，$W_{1}$と$W_{2}$が独立でないと仮定すると，$W_{1}{+}W_{2}$が従うカイ二乗分布の自由度は$n$未満となり，$W_{1}$が従うカイ二乗分布の自由度は$1$以上となるため，$W_{1}$と$W_{2}$がそれぞれ$\chi^{2}(n{-}p)$と$\chi^{2}(p)$に従うことに矛盾します。したがって，$W_{1}$と$W_{2}$は独立となります。
(3)
E_{\mZ|\mY}[\Delta(\mZ)|\mY] &= \sigma^{2}(W_{2}+n)
\end{align}
$\mY{=}X\beta{+}\varepsilon$を与えると$W_{2}$が定数ベクトルとみなせるため，小問(2)と同様にして
E_{\mZ|\mY}[\Delta(\mZ)|\mY]
&= E[(\mZ-X\hat{\beta})^{T}(\mZ-X\hat{\beta})]\\[0.7em]
&= E[((X\beta+\varepsilon^{\prime})-X\hat{\beta})^{T}((X\beta+\varepsilon^{\prime})-X\hat{\beta})]\\[0.7em]
&= E[((X(\beta-\hat{\beta})+\varepsilon^{\prime}))^{T}(X(\beta-\hat{\beta})+\varepsilon^{\prime})]\\[0.7em]
&= E[(X(\beta-\hat{\beta}))^{T}X(\beta-\hat{\beta})]+E[(\varepsilon^{\prime})^{T}\varepsilon^{\prime}]
= \sigma^{2}(W_{2}+n)
\end{align}
となります。
(4)
E\left[\frac{\Delta(\mZ)-\Delta(\mY)}{\hat{\sigma}^{2}}\right]
&= \frac{2n(p+1)}{n-p-2},\quad \lim_{n\rarr\infty}E\left[\frac{\Delta(\mZ)-\Delta(\mY)}{\hat{\sigma}^{2}}\right] = 2(p+1)
\end{align}
条件付き期待値の性質より，
E_{\mY,\mZ}\left[\frac{\Delta(\mZ)-\Delta(\mY)}{\hat{\sigma}^{2}}\right]
&= E_{\mY}\left[E_{\mZ|\mY}\left[\frac{\Delta(\mZ|\mY)-\Delta(\mY)}{\hat{\sigma}^{2}}\right]\right]\\[0.7em]
&= E_{\mY}\left[E_{\mZ|\mY}\left[\frac{\Delta(\mZ|\mY)}{\hat{\sigma}^{2}}\right]-\frac{\Delta(\mY)}{\hat{\sigma}^{2}}\right]\\[0.7em]
&= E_{\mY}\left[\frac{\sigma^{2}(W_{2}+n)}{\hat{\sigma}^{2}}-\frac{\Delta(\mY)}{\hat{\sigma}^{2}}\right]\\[0.7em]
&= E_{\mY}\left[\frac{n(W_{2}+n)}{W_{1}}-n\right]\\[0.7em]
&= nE_{\mY}\left[\frac{W_{2}}{W_{1}}\right]+n^{2}E_{\mY}\left[\frac{1}{W_{1}}\right]-n\label{5-4-1}
\end{align}
が得られます。ただし，$W_{1}$と$W_{2}$の定義を利用しました。ところで，$W_{1}$と$W_{2}$はそれぞれ$\chi^{2}(n{-}p)$と$\chi^{2}(p)$に従うため，$(W_{2}/p)/(W_{1}/(n{-}p))$は$\F(p,n{-}p)$に従います。これより，
E_{\mY}\left[\frac{W_{2}}{W_{1}}\right]
&= \frac{p}{n-p}E_{\mY}\left[\frac{W_{2}/p}{W_{1}/(n{-}p)}\right]
= \frac{p}{n-p}\frac{n-p}{n-p-2} = \frac{p}{n-p-2}\label{5-4-2}
\end{align}
となります。ただし，$\F(p,q)$に従う確率変数の期待値が$q/(q{-}2)$であることを用いました。さらに，小問(1)と小問(2)の結果より，
E_{\mY}\left[\frac{1}{W_{1}}\right] &= \frac{1}{n-p-2}\label{5-4-3}
\end{align}
式($\ref{5-4-2}$)と式($\ref{5-4-3}$)を式($\ref{5-4-1}$)に代入すると，
E_{\mY,\mZ}\left[\frac{\Delta(\mZ)-\Delta(\mY)}{\hat{\sigma}^{2}}\right]
&= \frac{np}{n-p-2}+\frac{n^{2}}{n-p-2}-n\\[0.7em]
&= \frac{np+n^{2}-n(n-p-2)}{n-p-2} = \frac{2n(p+1)}{n-p-2}
\end{align}
が得られます。したがって，
\lim_{n\rarr\infty}E\left[\frac{\Delta(\mZ)-\Delta(\mY)}{\hat{\sigma}^{2}}\right]
&= \lim_{n\rarr\infty}E\left[\frac{2n(p+1)}{n-p-2}\right]
= \lim_{n\rarr\infty}E\left[\frac{2(p+1)}{1-p/n-2/n}\right]
= 2(p+1)
\end{align}
が得られます。
コメント