【徹底解説】最良線形予測量とは

本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。

不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。

最良線形予測量

$X$の線形関数で$Y$を予測する問題は線形回帰とよばれ，機械学習の分野では正規方程式ともよばれます。

証明

平均二乗誤差の定義より，最小化する目的関数を$I(a,\mathbf{b})$とおくと，

となります。式($\text{4}$)を最小にする$a,b_1,\dots ,b_n$を求めるため，一般に確率変数$Z$に対して$E[(Z-c{)}^2]$を最小にする$c$は$E[Z]$で与えられることを示しておきます。$E[Z]={\mu }_z$および$V[Z]={\sigma }_z^2$とおき，$E[(Z-c{)}^2]$を期待値の線形性により変形すると，

が得られます。式($\text{6}$)は下に凸の二次関数であるため，平方完成すると式($\text{6}$)を最小にする$c$は${\mu }_z$で与えられることが分かります。これを式($\text{4}$)に適用すると，

となります。式($\text{2}$)を示せました。これを再び式($\text{4}$)に代入すると，

$i=j=1,\dots ,n$とおいて式($\text{9}$)を展開すると，$V[Y]$が一項，$-b_i\mathrm{Cov}[Y,X_i]$が二項ずつ，$b_i{b}_j\mathrm{Cov}[X_i,X_j]$が一項現れますので，

となります。式($\text{10}$)の第三項目を

と変形して$b_i$で偏微分すると，

が得られます。これを$0$とおくと，

が得られます。定義中のノーテーションを用いて行列表記すると，

となります。${\mathrm{\Sigma }}_{XX}$が正則ならば，${\mathrm{\Sigma }}_{XX}^{-1}$を左から掛けることで式($\text{3}$)が得られます。

参考文献

本稿の執筆にあたり参考にした文献は，以下でリストアップしております。