統計検定1級の過去問解答解説を行います。目次は以下をご覧ください。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
問題
統計検定1級の過去問からの出題になります。統計検定の問題の著作権は日本統計学会に帰属していますので，本稿にて記載することはできません。「演習問題を俯瞰する」で詳しく紹介している公式の過去問題集をご購入いただきますようお願い致します。
解答
線形モデルの推定量の比較に関する出題でした。
(1)
$E[Y_{i}]=\beta x_{i}+E[\epsilon_{i}]=\beta x_{i}$に注意すると，$b_{0}$の期待値は
E[b_{0}]
&= \frac{1}{n}\sum_{i=1}^{n}\frac{E[Y_{i}]}{x_{i}}
= \frac{1}{n}\sum_{i=1}^{n}\frac{\beta x_{i}}{x_{i}} = \beta
\end{align}
となり，$b_{1}$の期待値は
E[b_{1}]
&= \frac{\sum_{i=1}^{n}E[Y_{i}]}{\sum_{i=1}^{n}x_{i}}
= \frac{\sum_{i=1}^{n}\beta x_{i}}{\sum_{i=1}^{n}x_{i}}
= \beta
\end{align}
となるため，$b_{0}$と$b_{1}$は$\beta$の不偏推定量となる。
(2)
$\beta$の最小二乗推定量$b_{2}$は
J
&= \sum_{i=1}^{n}\frac{1}{2}(Y_{i}-bx_{i})^{2}
\end{align}
を最小化する$b$として求められる。$J$の$b$に関する導関数を$0$とする$b$は
\frac{dJ}{db}
&= \sum_{i=1}^{n}(Y_{i}-bx_{i})x_{i}
= \sum_{i=1}^{n}(x_{i}Y_{i}-bx_{i}^{2}) = 0
\end{align}
を満たすため，
b_{2}
&= \frac{\sum_{i=1}^{n}x_{i}Y_{i}}{\sum_{i=1}^{n}x_{i}^{2}}
\end{align}
が得られる。また，
E[b_{2}]
&= \frac{\sum_{i=1}^{n}x_{i}E[Y_{i}]}{\sum_{i=1}^{n}x_{i}^{2}}
= \frac{\sum_{i=1}^{n}\beta x_{i}^{2}}{\sum_{i=1}^{n}x_{i}^{2}}
= \beta
\end{align}
より，$b_{2}$は$\beta$の不偏推定量となる。
導関数を$0$とする$b$は最小二乗推定量の候補でしかありませんが，詳細な吟味は不要でしょう。
(3)
$\epsilon_{1},\ldots,\epsilon_{n}$が独立であることから$Y_{1},\ldots,Y_{n}$も独立になることに注意すると，$b_{0},b_{1},b_{2}$の分散は
\begin{cases}
\displaystyle
V[b_{0}]
= \frac{1}{n^{2}}\sum_{i=1}^{n}\frac{V[Y_{i}]}{x_{i}^{2}}
= \frac{\sum_{i=1}^{n}1/x_{i}^{2}}{n^{2}}\sigma^{2}\\[0.7em]
\displaystyle
V[b_{1}]
= \frac{\sum_{i=1}^{n}V[Y_{i}]}{(\sum_{i=1}^{n}x_{i})^{2}}
= \frac{\sum_{i=1}^{n}\sigma^{2}}{(\sum_{i=1}^{n}x_{i})^{2}}
= \frac{n}{(\sum_{i=1}^{n}x_{i})^{2}}\sigma^{2}\\[0.7em]
\displaystyle
V[b_{2}]
= \frac{\sum_{i=1}^{n}x_{i}V[Y_{i}]}{(\sum_{i=1}^{n}x_{i}^{2})^{2}}
= \frac{\sum_{i=1}^{n}x_{i}}{(\sum_{i=1}^{n}x_{i}^{2})^{2}}\sigma^{2}
= \frac{1}{\sum_{i=1}^{n}x_{i}^{2}}\sigma^{2}
\end{cases}
となる。$V[b_{0}],V[b_{1}],V[b_{2}]$の大小を比較するためには，$\sigma^{2}$の係数を比較すればよい。まず，$V[b_{0}]$と$V[b_{2}]$の係数がそれぞれ調和平均と算術平均の形に似ていることに注目する。一般に調和平均は算術平均以下となることを利用すると，
\frac{n}{\sum_{i=1}^{n}1/x_{i}^{2}}
\leq \frac{\sum_{i=1}^{n}x_{i}^{2}}{n}
~\Lrarr~
\frac{1}{\sum_{i=1}^{n}x_{i}^{2}}
\leq \frac{\sum_{i=1}^{n}1/x_{i}^{2}}{n^{2}}
\end{align}
より，$V[b_{2}]\leq V[b_{0}]$が得られる。次に，$V[b_{1}]$の係数が「総和の二乗」であることに注目すると，「二乗の総和」との評価を行うことができるコーシーシュワルツの不等式が利用できそうである。実際，コーシーシュワルツの不等式において$a_{1}=\ldots=a_{n}=1$および$b_{i}=x_{i}$とおくと
\left(\sum_{i=1}^{n}x_{i}\right)^{2}
\leq n\sum_{i=1}^{n}x_{i}^{2}
~\Lrarr~
\frac{1}{\sum_{i=1}^{n}x_{i}^{2}}
\leq \frac{n}{(\sum_{i=1}^{n}x_{i})^{2}}
\end{align}
が成り立つため，$V[b_{2}]\leq V[b_{1}]$が得られる。あとは$V[b_{0}]$と$V[b_{1}]$の係数を比較すればよい。しかし，算術平均と調和平均の関係でも，コーシーシュワルツの不等式でも直接評価できないため，まずはコーシーシュワルツの不等式を用いて$V[b_{0}]$の係数の形を出現させてみる。
\left(\sum_{i=1}^{n}\frac{1}{x_{i}}\right)^{2}
\leq n\sum_{i=1}^{n}\frac{1}{x_{i}^{2}}
~\Lrarr~
\frac{1}{n}\left(\frac{1}{n}\sum_{i=1}^{n}\frac{1}{x_{i}}\right)^{2}
\leq \frac{\sum_{i=1}^{n}1/x_{i}^{2}}{n^{2}}
\end{align}
左辺は算術平均の形であることに注目すると，
\frac{n}{\sum_{i=1}^{n}x_{i}}
\leq \frac{1}{n}\sum_{i=1}^{n}\frac{1}{x_{i}}
&~\Lrarr~
\frac{n^{2}}{(\sum_{i=1}^{n}x_{i})^{2}}
\leq \left(\frac{1}{n}\sum_{i=1}^{n}\frac{1}{x_{i}}\right)^{2}\\[0.7em]
&~\Lrarr~
\frac{n}{(\sum_{i=1}^{n}x_{i})^{2}}
\leq \frac{1}{n}\left(\frac{1}{n}\sum_{i=1}^{n}\frac{1}{x_{i}}\right)^{2}
\end{align}
が成り立つため，
\frac{n}{(\sum_{i=1}^{n}x_{i})^{2}}
\leq \frac{\sum_{i=1}^{n}1/x_{i}^{2}}{n^{2}}
\end{align}
が得られる。したがって，$V[b_{1}]\leq V[b_{0}]$となる。以上より，
V[b_{2}]\leq V[b_{1}]\leq V[b_{0}]
\end{align}
となる。
コメント