統計検定1級の過去問解答解説を行います。目次は以下をご覧ください。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
問題
統計検定1級の過去問からの出題になります。統計検定の問題の著作権は日本統計学会に帰属していますので，本稿にて記載することはできません。「演習問題を俯瞰する」で詳しく紹介している公式の過去問題集をご購入いただきますようお願い致します。
解答
重回帰モデルと平均二乗誤差に関する出題でした。
(1)
$y=(y_{1},\ldots,y_{n})^{T}$，$\beta=(\beta_{0},\beta_{1},\beta_{2})$および
X &=
\begin{bmatrix}
1 & x_{11} & x_{21}\\
1 & x_{11} & x_{21}\\
\vdots & \vdots & \vdots\\
1 & x_{1n} & x_{2n}
\end{bmatrix}
\end{align}
に対し，重回帰モデル$\|\vy-X\beta\|$を最小にする$\beta$は正規方程式$(X^{T}X)\beta=X^{T}\vy$の解として与えられる。正規方程式は
\begin{bmatrix}
1 & 1 & \cdots & 1\\
x_{11} & x_{12} & \cdots & x_{1n}\\
x_{21} & x_{22} & \cdots & x_{2n}
\end{bmatrix}
\begin{bmatrix}
1 & x_{11} & x_{21}\\
1 & x_{11} & x_{21}\\
\vdots & \vdots & \vdots\\
1 & x_{1n} & x_{2n}
\end{bmatrix}
\begin{bmatrix}
\beta_{0}\\
\beta_{1}\\
\beta_{2}
\end{bmatrix}
&=
\begin{bmatrix}
1 & 1 & \cdots & 1\\
x_{11} & x_{12} & \cdots & x_{1n}\\
x_{21} & x_{22} & \cdots & x_{2n}
\end{bmatrix}
\begin{bmatrix}
y_{0}\\
y_{1}\\
\vdots\\
y_{n}
\end{bmatrix}
\end{align}
と表され，これを整理すると
\begin{bmatrix}
n & 0 & 0\\
0 & S_{11} & S_{12}\\
0 & S_{21} & S_{22}
\end{bmatrix}
\begin{bmatrix}
\beta_{0}\\
\beta_{1}\\
\beta_{2}
\end{bmatrix}
&=
\begin{bmatrix}
\sum_{i=1}^{n}y_{i}\\
S_{1y}\\
S_{2y}
\end{bmatrix}
\end{align}
となるため，$\hat{\beta}_{0}=\sum_{i=1}^{n}y_{i}/n$が得られる。また，$S_{12}=S_{21}$に注意すると
\begin{bmatrix}
\beta_{1}\\
\beta_{2}
\end{bmatrix}
&=
\begin{bmatrix}
S_{11} & S_{12}\\
S_{21} & S_{22}
\end{bmatrix}^{-1}
\begin{bmatrix}
S_{1y}\\
S_{2y}
\end{bmatrix}
=\frac{1}{S_{11}S_{22}-S_{12}^{2}}
\begin{bmatrix}
S_{22} & -S_{12}\\
-S_{12} & S_{11}
\end{bmatrix}
\begin{bmatrix}
S_{1y}\\
S_{2y}
\end{bmatrix}
\end{align}
より，
\begin{cases}
\displaystyle
\hat{\beta}_{1}
=\frac{1}{S_{11}S_{22}-S_{12}^{2}}(S_{22}S_{1y}-S_{12}S_{2y})\\[0.7em]
\displaystyle
\hat{\beta}_{2}
=\frac{1}{S_{11}S_{22}-S_{12}^{2}}(-S_{12}S_{1y}+S_{11}S_{2y})
\end{cases}
が得られる。
(2)
相関係数の定義より，
r_{12} = \frac{S_{12}}{\sqrt{S_{11}S_{22}}},\quad
r_{1y} = \frac{S_{1y}}{\sqrt{S_{11}S_{yy}}},\quad
r_{2y} = \frac{S_{2y}}{\sqrt{S_{22}S_{yy}}}
\end{align}
となるため，
\hat{\beta}_{1}
&= \frac{S_{22}\sqrt{S_{11}S_{yy}}}{S_{11}S_{22}(1-r_{12}^{2})}(r_{1y}-r_{12}r_{2y})
= \sqrt{\frac{S_{yy}}{S_{11}}}\frac{r_{1y}-r_{12}r_{2y}}{1-r_{12}^{2}}
\end{align}
と変形できる。ただし，$S_{yy}=\sum_{i=1}^{n}(y_{i}-\bary)^{2}$とおいた。$|r_{12}|<1$に注意すると$\hat{\beta}_{1}$の符号は$r_{1y}-r_{12}r_{2y}$の符号と一致するため，$\hat{\beta}_{1}<0$となるための必要十分条件は$r_{1y}-r_{12}r_{2y}<0$である。このことから，$r_{2y}>0$のとき，$r_{1y}>0$であっても$r_{12}$が$1$に近い値を取っている場合は$r_{1y}-r_{12}r_{2y}<0$となり，$\hat{\beta}_{1}<0$となりやすいことがわかる。
(3)
\hat{\beta}
&= (X^{T}X)^{-1}X^{T}\vy
= (X^{T}X)^{-1}X^{T}(X\beta+\varepsilon)
= \beta+(X^{T}X)^{-1}X^{T}\varepsilon
\end{align}
と表されるため，
E[\hat{\beta}]
&= \beta+(X^{T}X)^{-1}X^{T}E[\varepsilon] = \beta
\end{align}
となることに注意すると，
(\hat{\beta}{-}E[\hat{\beta}])(\hat{\beta}{-}E[\hat{\beta}])^{T}
&{=} ((X^{T}X)^{-1}X^{T}\varepsilon)((X^{T}X)^{-1}X^{T}\varepsilon)^{T}
{=} (X^{T}X)^{-1}X^{T}\varepsilon\varepsilon^{T}X(X^{T}X)^{-1}
\end{align}
が得られる。したがって，$\hat{\beta}$の分散共分散行列$\Sigma$は，
\Sigma
&= E[(\hat{\beta}-E[\hat{\beta}])(\hat{\beta}-E[\hat{\beta}])^{T}]
= (X^{T}X)^{-1}X^{T}E[\varepsilon\varepsilon^{T}]X(X^{T}X)^{-1}\\[0.7em]
&= (X^{T}X)^{-1}X^{T}(\sigma^{2}I)X(X^{T}X)^{-1}
= \sigma^{2}(X^{T}X)^{-1}
\end{align}
となる。ところで，小問(1)より
\Sigma &= \sigma^{2}
\begin{bmatrix}
n & 0 & 0\\
0 & S_{11} & S_{12}\\
0 & S_{21} & S_{22}
\end{bmatrix}^{-1}
\end{align}
を求めればよい。$V[\hat{\beta}_{1}]$は$\Sigma$の$(2,2)$要素$\Sigma_{22}$であるため，余因子展開により
\Sigma_{22} &=
\frac{\sigma^{2}}{n(S_{11}S_{12}-S_{12}^{2})}(-1)^{2+2}
\begin{vmatrix}
n & 0\\
0 & S_{22}
\end{vmatrix}
= \frac{\sigma^{2}S_{22}}{S_{11}S_{22}-S_{12}^{2}}\\[0.7em]
&= \frac{\sigma^{2}S_{22}}{S_{11}S_{22}(1-S_{12}^{2}/(S_{11}S_{22}))}
= \frac{\sigma^{2}}{S_{11}}\frac{1}{1-r_{12}^{2}}
\end{align}
が得られる。同様に，$V[\hat{\beta}_{2}]$は$\Sigma$の$(3,3)$要素$\Sigma_{33}$であるため，余因子展開により
\Sigma_{33} &=
\frac{\sigma^{2}}{n(S_{11}S_{12}-S_{12}^{2})}(-1)^{2+2}
\begin{vmatrix}
n & 0\\
0 & S_{11}
\end{vmatrix}
= \frac{\sigma^{2}S_{11}}{S_{11}S_{22}-S_{12}^{2}}\\[0.7em]
&= \frac{\sigma^{2}S_{11}}{S_{11}S_{22}(1-S_{12}^{2}/(S_{11}S_{22}))}
= \frac{\sigma^{2}}{S_{22}}\frac{1}{1-r_{12}^{2}}
\end{align}
が得られる。$r_{12}=0$のとき，$V[\hat{\beta}_{1}]=\sigma^{2}/S_{11}$，$V[\hat{\beta}_{2}]=\sigma^{2}/S_{22}$となる。$r_{12}\neq 0$のとき，$|r_{12}|$が$1$に近い値を取るほど，$V[\hat{\beta}_{1}]$と$V[\hat{\beta}_{2}]$は$r_{12}=0$のときより大きな値を取る。
(4)
$y_{k}=\beta_{0}+\beta_{1}x_{1k}+\beta_{2}x_{2k}+\varepsilon_{k}$の右辺で確率変数は$\varepsilon_{k}$だけであること，および$\varepsilon_{1},\ldots,\varepsilon_{n}$はそれぞれ独立であることに注意すると，$\tilde{\beta}_{1}$の分散は
V[\tilde{\beta}_{1}]
&{=} \frac{V[S_{1y}]}{S_{11}^{2}}
{=} \frac{1}{S_{11}^{2}}V\left[\sum_{k=1}^{n}x_{1k}y_{k}\right]
{=} \frac{1}{S_{11}^{2}}V\left[\sum_{k=1}^{n}x_{1k}(\beta_{0}+\beta_{1}x_{1k}+\beta_{2}x_{2k}+\varepsilon_{k})\right]\\[0.7em]
&{=} \frac{1}{S_{11}^{2}}V\left[\sum_{k=1}^{n}x_{1k}\varepsilon_{k}\right]
{=} \frac{1}{S_{11}^{2}}V[x_{11}\varepsilon_{1}{+}{\cdots}{+}x_{1n}\varepsilon_{n}]
{=} \frac{1}{S_{11}^{2}}(x_{11}^{2}V[\varepsilon_{1}]{+}{\cdots}{+}x_{1n}^{2}V[\varepsilon_{n}])\\[0.7em]
&= \frac{1}{S_{11}^{2}}\sigma^{2}(x_{11}^{2}{+}{\cdots}{+}x_{1n}^{2})
= \frac{\sigma^{2}}{S_{11}}
\end{align}
となる。よって，$\hat{\beta}_{1}$の分散と$\tilde{\beta}_{1}$の分散の差は
V[\hat{\beta}_{1}]-V[\tilde{\beta}_{1}]
&= \frac{\sigma^{2}}{S_{11}}\frac{1}{1-r_{12}^{2}} - \frac{\sigma^{2}}{S_{11}}
= \frac{\sigma^{2}}{S_{11}}\frac{r_{12}^{2}}{1-r_{12}^{2}}
\end{align}
となり，$r_{12}^{2}$の単調増加関数として表される。同様に，$\tilde{\beta}_{1}$の期待値は
E[\tilde{\beta}_{1}]
&= \frac{E[S_{1y}]}{S_{11}}
= \frac{1}{S_{11}}E\left[\sum_{k=1}^{n}x_{1k}y_{k}\right]
= \frac{1}{S_{11}}E\left[\sum_{k=1}^{n}x_{1k}(\beta_{0}+\beta_{1}x_{1k}+\beta_{2}x_{2k}+\varepsilon_{k})\right]\\[0.7em]
&= \frac{1}{S_{11}}\left\{
\sum_{k=1}^{n}\beta_{0}x_{1k}
+\sum_{k=1}^{n}\beta_{1}x_{1k}^{2}
+\sum_{k=1}^{n}\beta_{2}x_{1k}x_{2k}
\right\}
= \beta_{1}+\frac{S_{12}}{S_{11}}\beta_{2}
\end{align}
となる。ただし，$x_{1}$は標本平均$0$であることを利用した。ところで，
E[\hat{\beta}_{1}]
&= \frac{S_{22}E[S_{1y}]-S_{12}E[S_{2y}]}{S_{11}S_{22}-S_{12}^{2}}
= \frac{S_{22}(S_{11}\beta_{1}+S_{12}\beta_{22})-S_{12}(S_{12}\beta_{1}+S_{22}\beta_{2})}{S_{11}S_{22}-S_{12}^{2}}
= \beta_{1}
\end{align}
であることを利用すると，平均二乗誤差の定義より，
\mathrm{MSE}[\hat{\beta}_{1}]
&= E[(\hat{\beta}_{1}-\beta_{1})^{2}]
= E[\hat{\beta}_{1}^{2}-2\beta_{1}\hat{\beta}_{1}+\beta_{1}^{2}]
= \left\{V[\hat{\beta}_{1}]+E[\hat{\beta}_{1}]^{2}\right\}-2\beta_{1}E[\hat{\beta}_{1}]+\beta_{1}^{2}\\[0.7em]
&= V[\hat{\beta}_{1}]+\beta_{1}^{2}-2\beta_{1}^{2}+\beta_{1}^{2}
= V[\hat{\beta}_{1}]
\end{align}
が得られる。一方，
\mathrm{MSE}[\tilde{\beta}_{1}]
&{=} E[(\tilde{\beta}_{1}-\beta_{1})^{2}]
{=} E[\tilde{\beta}_{1}^{2}-2\beta_{1}\tilde{\beta}_{1}+\beta_{1}^{2}]
{=} \left\{V[\tilde{\beta}_{1}]+E[\tilde{\beta}_{1}]^{2}\right\}-2\beta_{1}E[\tilde{\beta}_{1}]+\beta_{1}^{2}\\[0.7em]
&{=} V[\tilde{\beta}_{1}]+\left(\beta_{1}+\frac{S_{12}}{S_{11}}\beta_{2}\right)^{2}-2\beta_{1}\left(\beta_{1}+\frac{S_{12}}{S_{11}}\beta_{2}\right)+\beta_{1}^{2}
{=} V[\tilde{\beta}_{1}]+\frac{S_{12}^{2}}{S_{11}^{2}}\beta_{2}^{2}
\end{align}
となるため，上の結果を用いることにより，
\mathrm{MSE}[\hat{\beta}_{1}]-\mathrm{MSE}[\tilde{\beta}_{1}]
&= V[\hat{\beta}_{1}]-\left(V[\tilde{\beta}_{1}]+\frac{S_{12}^{2}}{S_{11}^{2}}\beta_{2}^{2}\right)
= \left(V[\hat{\beta}_{1}]-V[\tilde{\beta}_{1}]\right)-\frac{S_{12}^{2}}{S_{11}^{2}}\beta_{2}^{2}\\[0.7em]
&= \frac{\sigma^{2}}{S_{11}}\frac{r_{12}^{2}}{1-r_{12}^{2}}-\frac{S_{12}^{2}}{S_{11}^{2}}\beta_{2}^{2}
= \frac{S_{12}^{2}}{S_{11}^{2}}\left(\frac{\sigma^{2}}{S_{22}}\frac{1}{1-r_{12}^{2}}-\beta_{2}^{2}\right)\\[0.7em]
&= \frac{S_{12}^{2}}{S_{11}^{2}}\left(V[\hat{\beta}_{2}]-\beta_{2}^{2}\right)
\end{align}
となる。よって，$V[\hat{\beta}_{2}]{\geq}\beta_{2}^{2}$ならば$\mathrm{MSE}[\hat{\beta}_{1}]\geq\mathrm{MSE}[\tilde{\beta}_{1}]$，$V[\hat{\beta}_{2}]{<}\beta_{2}^{2}$ならば$\mathrm{MSE}[\hat{\beta}_{1}]{<}\mathrm{MSE}[\tilde{\beta}_{1}]$となる。
コメント