本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
中心極限定理
任意の実数$x$および独立同一分布に従う独立な確率変数$X_i\;(i=1,2,\ldots,n)$に対し，次が成り立つ。
P\left( \frac{1}{\sqrt{n}}\sum_{i=1}^n \frac{X_i - \mu}{\sqrt{\sigma^2}}\leq x \right)
\rightarrow \int_{-\infty}^{x}\frac{1}{2\pi}e^{-t^{2}/2}dt\quad (n \rightarrow \infty)
\end{align}
ただし，$E[X_i]=\mu$，$V[X_i]=\sigma^2$とおいた。
統計学を学び始めて最初にして最大の関門である中心極限定理は，統計学の基本定理です。主張していることはシンプルながらも，証明には少し手間がかかります。数学アレルギーの人は，この定理を見て「あ。統計学無理や。」となるかもしれませんが，意外とアッサリと証明できてしまいますので，取っ掛かりのハードルを超えるところだけ気合を入れてあげれば大丈夫です。大数の弱法則では，サンプルサイズを大きくしたときに標本平均が近づく値に注目しました。一方，中心極限定理では，サンプルサイズを大きくしたときに標本平均と母平均の誤差が近づく値に注目します。具体的には，大数の弱法則で主張している「標本平均が母平均に近づく」というアイディアを元に，中心極限定理ではそれらの誤差がどのような分布に従うのかを示します。結論を言えば，サンプルサイズを十分に大きくしたときには，標本平均と母平均の誤差は正規分布に従います。
証明
中心極限定理では，サンプルサイズを大きくしたときに標本平均と母平均の誤差が近づく値に注目します。標本平均と母平均の誤差を新しい確率変数で置き換えてもよいのですが，正規分布に紐づけることを考えると，やや天下り的なのですが下記のような確率変数で置き換えます。
S_{n} &= \frac{1}{\sqrt{n}}\sum_{i=1}^{n} \frac{X_{i} - \mu}{\sigma} = \frac{1}{\sqrt{n}}\sum_{i=1}^{n} Z_{i}
\end{align}
$Z_{i}$は$X_{i}$を標準化した確率変数ですので，$E[Z_{i}]=0$かつ$V[Z_{i}]=1$となります。以下では，$S_{n}$の特性関数が正規分布の特性関数に収束することを示すことができれば，累積分布関数の定義および特性関数の一意性より，中心極限定理が示されます。
ここで特性関数の代わりにモーメント母関数を持ち出してしまうと，モーメント母関数は必ずしも存在するとは限らないため，中心極限定理の証明としては適していません。また，サンプルサイズを大きくしていくときには何らかの近似が必要となりますが，今回はマクローリン展開を利用します。二項分布から正規分布への近似では，スターリングの公式を利用します。
早速，$S_{n}$の特性関数を計算します。
\varphi_{S_{n}}(t) &= E\left[e^{itS_{n}}\right]\\[0.7em]
&= E\left[\exp\left\{i \frac{t}{\sqrt{n}}\sum_{i=1}^{n} Z_{i} \right\}\right]\\[0.7em]
&= \prod_{i=1}^{n} E\left[\exp\left\{i\frac{t}{\sqrt{n}} Z_{i} \right\}\right]\\[0.7em]
&= \prod_{i=1}^{n} \varphi_{Z_{i}}\left(\frac{t}{\sqrt{n}}\right)\\[0.7em]
&= \left\{ \varphi_{Z}\left(\frac{t}{\sqrt{n}}\right) \right\}^n\label{特性関数_S_n}
\end{align}
ただし，特性関数の定義より，$\varphi_{Z_{1}}=\cdots\varphi_{Z_{n}}=\varphi_{Z}$とおきました。次に，$\varphi_{Z}$をマクローリン展開で近似します。
\varphi_{Z}\left(\frac{t}{\sqrt{n}}\right)
&= \varphi_{Z}^{(0)}(0) + \varphi_{Z}^{(1)}(0)\frac{t}{\sqrt{n}} +
\varphi_{Z}^{(2)}(0)\frac{t^2}{2n} + o\left( \frac{1}{n} \right) \label{taylor}
\end{align}
ただし，$o(x)$はスモールオー記法を用いました。ここで，特性関数の性質より，
\varphi_{Z}^{(0)}(0) &= \frac{E[Z^0]}{(-i)^0} &&= 1 &&\\[0.7em]
\varphi_{Z}^{(1)}(0) &= \frac{E[Z^1]}{(-i)^1} &&= 0 &&\\[0.7em]
\varphi_{Z}^{(2)}(0) &= \frac{E[Z^2]}{(-i)^2} &&= \sigma^2 + E[Z] &&= -1
\end{alignat}
となりますので，式(\ref{taylor})に代入した上で式($\ref{特性関数_S_n}$)に代入すれば，
\varphi_{S_n}(t) &= \left\{ 1 - \frac{t^2}{2n} + o\left( \frac{1}{n} \right) \right\}^n
\end{align}
が得られます。この式を二項定理に基づき展開していきますが，$(1/n)^k$という項は全て$o(1/n)$に含めることができる点に注意してください。
\left\{ 1 - \frac{t^2}{2n} + o\left( \frac{1}{n} \right) \right\}^n
&= \left( 1 - \frac{t^2}{2n} \right)^n + n\cdot o\left( \frac{1}{n} \right) + 1\cdot o\left( \frac{1}{n} \right) + o\left( \frac{1}{n^2} \right)\\[0.7em]
&= \left( 1 - \frac{t^2}{2n} \right)^n + n\cdot o\left( \frac{1}{n} \right)\label{自然対数の定義前}
\end{align}
いま，自然対数$e$の定義は，
e^{x}=\lim_{n\to \infty }\left(1+{\frac {x}{n}}\right)^{n}
\end{align}
でした。これを式($\ref{自然対数の定義前}$)に代入すると，$n\rarr\infty$のとき，
\left( 1 - \frac{t^2}{2n} \right)^n + n\cdot o\left( \frac{1}{n} \right)
&= \left( 1 + \left( - \frac{t^2/2}{n} \right) \right)^n + n\cdot o\left( \frac{1}{n} \right)~\rarr~e^{-t^{2}/2}
\end{align}
が得られます。まとめると，$n\rarr\infty$のとき，$\varphi_{S_n}(t)$は以下のように表されます。
\varphi_{S_n}(t) &\rightarrow e^{-t^{2}/2}
\end{align}
$e^{-t^2/2}$は，標準正規分布の特性関数です。実際に，$X$が正規分布${\rm N}(\mu, \sigma^2)$に従うならば，
\varphi_{X}(t) &= E[e^{itx}]\\[0.7em]
&= \int_{-\infty}^{\infty}e^{itx}\frac{1}{\sqrt{2\pi}}e^{-x^{2}/2}dx\\[0.7em]
&= \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-x^{2}/2+itx}dx\\[0.7em]
&= \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-(x-it)^{2}/2-t^{2}/2}dx\\[0.7em]
&= e^{-t^{2}/2}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-(x-it)^{2}/2}dx\\[0.7em]
&= e^{-t^{2}/2}
\end{align}
となります。したがって，$S_n$は$n\rarr\infty$のとき${\rm N(0, 1)}$に従いますので，中心極限定理が導かれました。
補足
中心極限定理は，以下のように表すこともできます。
P\left(a\leq X_n \leq b\right) &= \int_{a}^{b}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx
\end{align}
他にも，標準正規分布の累積分布関数を$\Phi(x)$と表せば
P\left( \frac{1}{\sqrt{n}}\sum_{i=1}^n \frac{X_i - \mu}{\sqrt{\sigma^2}}\leq x \right)
\approx \Phi(x)
\end{align}
と表すこともできます。
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント