【過去問解答】2015年統計検定1級<統計数理3>

統計検定1級の過去問解答解説を行います。目次は以下をご覧ください。

不適切な内容があれば,記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。

目次

問題

統計検定1級の過去問からの出題になります。統計検定の問題の著作権は日本統計学会に帰属していますので,本稿にて記載することはできません。「演習問題を俯瞰する」で詳しく紹介している公式の過去問題集をご購入いただきますようお願い致します。

解答

重回帰モデルと平均二乗誤差に関する出題でした。

(1)

$y=(y_{1},\ldots,y_{n})^{T}$,$\beta=(\beta_{0},\beta_{1},\beta_{2})$および

\begin{align}
X &=
\begin{bmatrix}
1 & x_{11} & x_{21}\\
1 & x_{11} & x_{21}\\
\vdots & \vdots & \vdots\\
1 & x_{1n} & x_{2n}
\end{bmatrix}
\end{align}

に対し,重回帰モデル$\|\vy-X\beta\|$を最小にする$\beta$は正規方程式$(X^{T}X)\beta=X^{T}\vy$の解として与えられる。正規方程式は

\begin{align}
\begin{bmatrix}
1 & 1 & \cdots & 1\\
x_{11} & x_{12} & \cdots & x_{1n}\\
x_{21} & x_{22} & \cdots & x_{2n}
\end{bmatrix}
\begin{bmatrix}
1 & x_{11} & x_{21}\\
1 & x_{11} & x_{21}\\
\vdots & \vdots & \vdots\\
1 & x_{1n} & x_{2n}
\end{bmatrix}
\begin{bmatrix}
\beta_{0}\\
\beta_{1}\\
\beta_{2}
\end{bmatrix}
&=
\begin{bmatrix}
1 & 1 & \cdots & 1\\
x_{11} & x_{12} & \cdots & x_{1n}\\
x_{21} & x_{22} & \cdots & x_{2n}
\end{bmatrix}
\begin{bmatrix}
y_{0}\\
y_{1}\\
\vdots\\
y_{n}
\end{bmatrix}
\end{align}

と表され,これを整理すると

\begin{align}
\begin{bmatrix}
n & 0 & 0\\
0 & S_{11} & S_{12}\\
0 & S_{21} & S_{22}
\end{bmatrix}
\begin{bmatrix}
\beta_{0}\\
\beta_{1}\\
\beta_{2}
\end{bmatrix}
&=
\begin{bmatrix}
\sum_{i=1}^{n}y_{i}\\
S_{1y}\\
S_{2y}
\end{bmatrix}
\end{align}

となるため,$\hat{\beta}_{0}=\sum_{i=1}^{n}y_{i}/n$が得られる。また,$S_{12}=S_{21}$に注意すると

\begin{align}
\begin{bmatrix}
\beta_{1}\\
\beta_{2}
\end{bmatrix}
&=
\begin{bmatrix}
S_{11} & S_{12}\\
S_{21} & S_{22}
\end{bmatrix}^{-1}
\begin{bmatrix}
S_{1y}\\
S_{2y}
\end{bmatrix}
=\frac{1}{S_{11}S_{22}-S_{12}^{2}}
\begin{bmatrix}
S_{22} & -S_{12}\\
-S_{12} & S_{11}
\end{bmatrix}
\begin{bmatrix}
S_{1y}\\
S_{2y}
\end{bmatrix}
\end{align}

より,

\begin{cases}
\displaystyle
\hat{\beta}_{1}
=\frac{1}{S_{11}S_{22}-S_{12}^{2}}(S_{22}S_{1y}-S_{12}S_{2y})\\[0.7em]
\displaystyle
\hat{\beta}_{2}
=\frac{1}{S_{11}S_{22}-S_{12}^{2}}(-S_{12}S_{1y}+S_{11}S_{2y})
\end{cases}

が得られる。

(2)

相関係数の定義より,

\begin{align}
r_{12} = \frac{S_{12}}{\sqrt{S_{11}S_{22}}},\quad
r_{1y} = \frac{S_{1y}}{\sqrt{S_{11}S_{yy}}},\quad
r_{2y} = \frac{S_{2y}}{\sqrt{S_{22}S_{yy}}}
\end{align}

となるため,

\begin{align}
\hat{\beta}_{1}
&= \frac{S_{22}\sqrt{S_{11}S_{yy}}}{S_{11}S_{22}(1-r_{12}^{2})}(r_{1y}-r_{12}r_{2y})
= \sqrt{\frac{S_{yy}}{S_{11}}}\frac{r_{1y}-r_{12}r_{2y}}{1-r_{12}^{2}}
\end{align}

と変形できる。ただし,$S_{yy}=\sum_{i=1}^{n}(y_{i}-\bary)^{2}$とおいた。$|r_{12}|<1$に注意すると$\hat{\beta}_{1}$の符号は$r_{1y}-r_{12}r_{2y}$の符号と一致するため,$\hat{\beta}_{1}<0$となるための必要十分条件は$r_{1y}-r_{12}r_{2y}<0$である。このことから,$r_{2y}>0$のとき,$r_{1y}>0$であっても$r_{12}$が$1$に近い値を取っている場合は$r_{1y}-r_{12}r_{2y}<0$となり,$\hat{\beta}_{1}<0$となりやすいことがわかる。

(3)

正規方程式の解

\begin{align}
\hat{\beta}
&= (X^{T}X)^{-1}X^{T}\vy
= (X^{T}X)^{-1}X^{T}(X\beta+\varepsilon)
= \beta+(X^{T}X)^{-1}X^{T}\varepsilon
\end{align}

と表されるため,

\begin{align}
E[\hat{\beta}]
&= \beta+(X^{T}X)^{-1}X^{T}E[\varepsilon] = \beta
\end{align}

となることに注意すると,

\begin{align}
(\hat{\beta}{-}E[\hat{\beta}])(\hat{\beta}{-}E[\hat{\beta}])^{T}
&{=} ((X^{T}X)^{-1}X^{T}\varepsilon)((X^{T}X)^{-1}X^{T}\varepsilon)^{T}
{=} (X^{T}X)^{-1}X^{T}\varepsilon\varepsilon^{T}X(X^{T}X)^{-1}
\end{align}

が得られる。したがって,$\hat{\beta}$の分散共分散行列$\Sigma$は,

\begin{align}
\Sigma
&= E[(\hat{\beta}-E[\hat{\beta}])(\hat{\beta}-E[\hat{\beta}])^{T}]
= (X^{T}X)^{-1}X^{T}E[\varepsilon\varepsilon^{T}]X(X^{T}X)^{-1}\\[0.7em]
&= (X^{T}X)^{-1}X^{T}(\sigma^{2}I)X(X^{T}X)^{-1}
= \sigma^{2}(X^{T}X)^{-1}
\end{align}

となる。ところで,小問(1)より

\begin{align}
\Sigma &= \sigma^{2}
\begin{bmatrix}
n & 0 & 0\\
0 & S_{11} & S_{12}\\
0 & S_{21} & S_{22}
\end{bmatrix}^{-1}
\end{align}

を求めればよい。$V[\hat{\beta}_{1}]$は$\Sigma$の$(2,2)$要素$\Sigma_{22}$であるため,余因子展開により

\begin{align}
\Sigma_{22} &=
\frac{\sigma^{2}}{n(S_{11}S_{12}-S_{12}^{2})}(-1)^{2+2}
\begin{vmatrix}
n & 0\\
0 & S_{22}
\end{vmatrix}
= \frac{\sigma^{2}S_{22}}{S_{11}S_{22}-S_{12}^{2}}\\[0.7em]
&= \frac{\sigma^{2}S_{22}}{S_{11}S_{22}(1-S_{12}^{2}/(S_{11}S_{22}))}
= \frac{\sigma^{2}}{S_{11}}\frac{1}{1-r_{12}^{2}}
\end{align}

が得られる。同様に,$V[\hat{\beta}_{2}]$は$\Sigma$の$(3,3)$要素$\Sigma_{33}$であるため,余因子展開により

\begin{align}
\Sigma_{33} &=
\frac{\sigma^{2}}{n(S_{11}S_{12}-S_{12}^{2})}(-1)^{2+2}
\begin{vmatrix}
n & 0\\
0 & S_{11}
\end{vmatrix}
= \frac{\sigma^{2}S_{11}}{S_{11}S_{22}-S_{12}^{2}}\\[0.7em]
&= \frac{\sigma^{2}S_{11}}{S_{11}S_{22}(1-S_{12}^{2}/(S_{11}S_{22}))}
= \frac{\sigma^{2}}{S_{22}}\frac{1}{1-r_{12}^{2}}
\end{align}

が得られる。$r_{12}=0$のとき,$V[\hat{\beta}_{1}]=\sigma^{2}/S_{11}$,$V[\hat{\beta}_{2}]=\sigma^{2}/S_{22}$となる。$r_{12}\neq 0$のとき,$|r_{12}|$が$1$に近い値を取るほど,$V[\hat{\beta}_{1}]$と$V[\hat{\beta}_{2}]$は$r_{12}=0$のときより大きな値を取る。

(4)

$y_{k}=\beta_{0}+\beta_{1}x_{1k}+\beta_{2}x_{2k}+\varepsilon_{k}$の右辺で確率変数は$\varepsilon_{k}$だけであること,および$\varepsilon_{1},\ldots,\varepsilon_{n}$はそれぞれ独立であることに注意すると,$\tilde{\beta}_{1}$の分散は

\begin{align}
V[\tilde{\beta}_{1}]
&{=} \frac{V[S_{1y}]}{S_{11}^{2}}
{=} \frac{1}{S_{11}^{2}}V\left[\sum_{k=1}^{n}x_{1k}y_{k}\right]
{=} \frac{1}{S_{11}^{2}}V\left[\sum_{k=1}^{n}x_{1k}(\beta_{0}+\beta_{1}x_{1k}+\beta_{2}x_{2k}+\varepsilon_{k})\right]\\[0.7em]
&{=} \frac{1}{S_{11}^{2}}V\left[\sum_{k=1}^{n}x_{1k}\varepsilon_{k}\right]
{=} \frac{1}{S_{11}^{2}}V[x_{11}\varepsilon_{1}{+}{\cdots}{+}x_{1n}\varepsilon_{n}]
{=} \frac{1}{S_{11}^{2}}(x_{11}^{2}V[\varepsilon_{1}]{+}{\cdots}{+}x_{1n}^{2}V[\varepsilon_{n}])\\[0.7em]
&= \frac{1}{S_{11}^{2}}\sigma^{2}(x_{11}^{2}{+}{\cdots}{+}x_{1n}^{2})
= \frac{\sigma^{2}}{S_{11}}
\end{align}

となる。よって,$\hat{\beta}_{1}$の分散と$\tilde{\beta}_{1}$の分散の差は

\begin{align}
V[\hat{\beta}_{1}]-V[\tilde{\beta}_{1}]
&= \frac{\sigma^{2}}{S_{11}}\frac{1}{1-r_{12}^{2}} - \frac{\sigma^{2}}{S_{11}}
= \frac{\sigma^{2}}{S_{11}}\frac{r_{12}^{2}}{1-r_{12}^{2}}
\end{align}

となり,$r_{12}^{2}$の単調増加関数として表される。同様に,$\tilde{\beta}_{1}$の期待値は

\begin{align}
E[\tilde{\beta}_{1}]
&= \frac{E[S_{1y}]}{S_{11}}
= \frac{1}{S_{11}}E\left[\sum_{k=1}^{n}x_{1k}y_{k}\right]
= \frac{1}{S_{11}}E\left[\sum_{k=1}^{n}x_{1k}(\beta_{0}+\beta_{1}x_{1k}+\beta_{2}x_{2k}+\varepsilon_{k})\right]\\[0.7em]
&= \frac{1}{S_{11}}\left\{
\sum_{k=1}^{n}\beta_{0}x_{1k}
+\sum_{k=1}^{n}\beta_{1}x_{1k}^{2}
+\sum_{k=1}^{n}\beta_{2}x_{1k}x_{2k}
\right\}
= \beta_{1}+\frac{S_{12}}{S_{11}}\beta_{2}
\end{align}

となる。ただし,$x_{1}$は標本平均$0$であることを利用した。ところで,

\begin{align}
E[\hat{\beta}_{1}]
&= \frac{S_{22}E[S_{1y}]-S_{12}E[S_{2y}]}{S_{11}S_{22}-S_{12}^{2}}
= \frac{S_{22}(S_{11}\beta_{1}+S_{12}\beta_{22})-S_{12}(S_{12}\beta_{1}+S_{22}\beta_{2})}{S_{11}S_{22}-S_{12}^{2}}
= \beta_{1}
\end{align}

であることを利用すると,平均二乗誤差の定義より,

\begin{align}
\mathrm{MSE}[\hat{\beta}_{1}]
&= E[(\hat{\beta}_{1}-\beta_{1})^{2}]
= E[\hat{\beta}_{1}^{2}-2\beta_{1}\hat{\beta}_{1}+\beta_{1}^{2}]
= \left\{V[\hat{\beta}_{1}]+E[\hat{\beta}_{1}]^{2}\right\}-2\beta_{1}E[\hat{\beta}_{1}]+\beta_{1}^{2}\\[0.7em]
&= V[\hat{\beta}_{1}]+\beta_{1}^{2}-2\beta_{1}^{2}+\beta_{1}^{2}
= V[\hat{\beta}_{1}]
\end{align}

が得られる。一方,

\begin{align}
\mathrm{MSE}[\tilde{\beta}_{1}]
&{=} E[(\tilde{\beta}_{1}-\beta_{1})^{2}]
{=} E[\tilde{\beta}_{1}^{2}-2\beta_{1}\tilde{\beta}_{1}+\beta_{1}^{2}]
{=} \left\{V[\tilde{\beta}_{1}]+E[\tilde{\beta}_{1}]^{2}\right\}-2\beta_{1}E[\tilde{\beta}_{1}]+\beta_{1}^{2}\\[0.7em]
&{=} V[\tilde{\beta}_{1}]+\left(\beta_{1}+\frac{S_{12}}{S_{11}}\beta_{2}\right)^{2}-2\beta_{1}\left(\beta_{1}+\frac{S_{12}}{S_{11}}\beta_{2}\right)+\beta_{1}^{2}
{=} V[\tilde{\beta}_{1}]+\frac{S_{12}^{2}}{S_{11}^{2}}\beta_{2}^{2}
\end{align}

となるため,上の結果を用いることにより,

\begin{align}
\mathrm{MSE}[\hat{\beta}_{1}]-\mathrm{MSE}[\tilde{\beta}_{1}]
&= V[\hat{\beta}_{1}]-\left(V[\tilde{\beta}_{1}]+\frac{S_{12}^{2}}{S_{11}^{2}}\beta_{2}^{2}\right)
= \left(V[\hat{\beta}_{1}]-V[\tilde{\beta}_{1}]\right)-\frac{S_{12}^{2}}{S_{11}^{2}}\beta_{2}^{2}\\[0.7em]
&= \frac{\sigma^{2}}{S_{11}}\frac{r_{12}^{2}}{1-r_{12}^{2}}-\frac{S_{12}^{2}}{S_{11}^{2}}\beta_{2}^{2}
= \frac{S_{12}^{2}}{S_{11}^{2}}\left(\frac{\sigma^{2}}{S_{22}}\frac{1}{1-r_{12}^{2}}-\beta_{2}^{2}\right)\\[0.7em]
&= \frac{S_{12}^{2}}{S_{11}^{2}}\left(V[\hat{\beta}_{2}]-\beta_{2}^{2}\right)
\end{align}

となる。よって,$V[\hat{\beta}_{2}]{\geq}\beta_{2}^{2}$ならば$\mathrm{MSE}[\hat{\beta}_{1}]\geq\mathrm{MSE}[\tilde{\beta}_{1}]$,$V[\hat{\beta}_{2}]{<}\beta_{2}^{2}$ならば$\mathrm{MSE}[\hat{\beta}_{1}]{<}\mathrm{MSE}[\tilde{\beta}_{1}]$となる。

シェアはこちらからお願いします!

コメント

コメントする

※ Please enter your comments in Japanese to distinguish from spam.

目次