本記事は「これなら分かる！はじめての数理統計学」シリーズに含まれます。
不適切な内容があれば，記事下のコメント欄またはお問い合わせフォームよりご連絡下さい。
中心極限定理
任意の実数$x$および独立同一分布に従う独立な確率変数$X_i\;(i=1,2,\ldots,n)$に対し，次が成り立つ。
P\left( \frac{1}{\sqrt{n}}\sum_{i=1}^n \frac{X_i - \mu}{\sqrt{\sigma^2}}\leq x \right)
\rightarrow \int_{-\infty}^{x}\frac{1}{2\pi}e^{-t^{2}/2}dt\quad (n \rightarrow \infty)
\end{align}
ただし，$E[X_i]=\mu$，$V[X_i]=\sigma^2$とおいた。
統計学を学び始めて最初にして最大の関門である中心極限定理は統計学の基本定理です。主張していることはシンプルながらも証明には少し手間がかかります。大数の弱法則ではサンプルサイズを大きくしたときに標本平均が近づく値に注目しました。一方，中心極限定理ではサンプルサイズを大きくしたときに標本平均と母平均の誤差が近づく値に注目します。具体的には，大数の弱法則で主張している「標本平均が母平均に近づく」というアイディアを元に，中心極限定理ではそれらの誤差がどのような分布に従うのかを示します。サンプルサイズを十分に大きくしたときに標本平均と母平均の誤差は標準正規分布に従います。
証明
中心極限定理では，サンプルサイズを大きくしたときに標本平均と母平均の誤差が近づく値に注目します。標本平均と母平均の誤差を新しい確率変数で置き換えてもよいのですが，標準正規分布に紐づけることを考えて以下のように$S_{n}$を定義します。
\frac{1}{\sqrt{n}}\sum_{i=1}^{n} \frac{X_{i} - \mu}{\sigma}
&= \frac{1}{\sqrt{n}}\sum_{i=1}^{n} Z_{i}
\equiv S_{n}
\end{align}
$Z_{i}$は$X_{i}$を標準化した確率変数ですので，$E[Z_{i}]=0$かつ$V[Z_{i}]=1$となります。$S_{n}$の特性関数が標準正規分布の特性関数に収束することを示すことができれば，累積分布関数の定義および特性関数の一意性より中心極限定理が示されます。
モーメント母関数は必ずしも存在するとは限らないため，ここで特性関数の代わりにモーメント母関数を持ち出してしまうと中心極限定理の証明としては不適です。
早速，$S_{n}$の特性関数を計算します。
\varphi_{S_{n}}(t)
= E\left[e^{itS_{n}}\right]
&= E\left[\exp\left\{i \frac{t}{\sqrt{n}}\sum_{i=1}^{n} Z_{i} \right\}\right]
= \prod_{i=1}^{n} E\left[\exp\left\{i\frac{t}{\sqrt{n}} Z_{i} \right\}\right]\\[0.7em]
&= \prod_{i=1}^{n} \varphi_{Z_{i}}\left(\frac{t}{\sqrt{n}}\right)
= \left\{ \varphi_{Z}\left(\frac{t}{\sqrt{n}}\right) \right\}^n\label{特性関数_S_n}
\end{align}
ただし，特性関数の定義より$\varphi_{Z_{1}}{=}{\cdots}\varphi_{Z_{n}}$となるためこれらを$\varphi_{Z}$とおきました。次に，$\varphi_{Z}$をマクローリン展開で近似します。
\varphi_{Z}\left(\frac{t}{\sqrt{n}}\right)
&= \varphi_{Z}^{(0)}(0) + \varphi_{Z}^{(1)}(0)\frac{t}{\sqrt{n}} +
\varphi_{Z}^{(2)}(0)\frac{t^2}{2n} + o\left( \frac{1}{n} \right) \label{taylor}
\end{align}
ただし，$o(x)$はスモールオー記法を表します。ここで，特性関数の性質より，
\begin{cases}
\displaystyle
\varphi_{Z}^{(0)}(0) = \frac{E[Z^0]}{(-i)^0} = 1 \\[0.7em]
\displaystyle
\varphi_{Z}^{(1)}(0) = \frac{E[Z^1]}{(-i)^1} = 0 \\[0.7em]
\displaystyle
\varphi_{Z}^{(2)}(0) = \frac{E[Z^2]}{(-i)^2} = \sigma^2 + E[Z] = -1
\end{cases}
となりますので，これらを式(\ref{taylor})に代入した上で式($\ref{特性関数_S_n}$)に代入すれば，
\varphi_{S_n}(t) &= \left\{ 1 - \frac{t^2}{2n} + o\left( \frac{1}{n} \right) \right\}^n
\end{align}
が得られます。ここで，十分小さい$x$に対して$\ln(1+x)\approx x$となるため，$n\rarr\infty$のとき
\ln\left\{ 1 - \frac{t^2}{2n} + o\left( \frac{1}{n} \right) \right\}
\approx - \frac{t^2}{2n} + o\left( \frac{1}{n} \right)
\end{align}
が得られます。これを利用すると，
\left\{ 1 - \frac{t^2}{2n} + o\left( \frac{1}{n} \right) \right\}^n
&= \exp\left[n\ln\left\{ - \frac{t^2}{2n} + o\left( \frac{1}{n} \right) \right\}\right]\\[0.7em]
&\approx \exp\left\{- \frac{t^2}{2} + o(1)\right\} = e^{-t^{2}/2+o(1)}~\rarr~e^{-t^{2}/2}
\end{align}
となります。
o(1)はビッグオー記法ではなくスモールオー記法である点に注意してください。ランダウの記号は漸近的な関数の振る舞いを表すときに利用しますが，ビッグオー記法$O(1)$では1を含む一方で，スモールオー記法$o(1)$では1を含みません。
まとめると，$n\rarr\infty$のとき$\varphi_{S_n}(t)$は以下のように表されます。
\varphi_{S_n}(t) &\rightarrow e^{-t^{2}/2}
\end{align}
$e^{-t^2/2}$は標準正規分布の特性関数です。実際に，$X$が正規分布${\rm N}(\mu, \sigma^2)$に従うならば，
\varphi_{X}(t)
&= E[e^{itx}]
= \int_{-\infty}^{\infty}e^{itx}\frac{1}{\sqrt{2\pi}}e^{-x^{2}/2}dx
= \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-x^{2}/2+itx}dx\\[0.7em]
&= \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-(x-it)^{2}/2-t^{2}/2}dx
= e^{-t^{2}/2}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-(x-it)^{2}/2}dx
= e^{-t^{2}/2}
\end{align}
となります。したがって，$S_n$は$n\rarr\infty$のとき${\rm N(0, 1)}$に従いますので中心極限定理が導かれました。
サンプルサイズを大きくしていくときには何らかの近似が必要となりますが，今回はマクローリン展開を利用したという構造を理解しましょう。ちなみに，二項分布から正規分布への近似ではスターリングの公式を利用します。
補足
中心極限定理は，以下のように表すこともできます。
P\left(a\leq X_n \leq b\right) &= \int_{a}^{b}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx
\end{align}
他にも，標準正規分布の累積分布関数を$\Phi(x)$と表せば
P\left( \frac{1}{\sqrt{n}}\sum_{i=1}^n \frac{X_i - \mu}{\sqrt{\sigma^2}}\leq x \right)
\approx \Phi(x)
\end{align}
と表すこともできます。
参考文献
本稿の執筆にあたり参考にした文献は，以下でリストアップしております。
コメント
コメント一覧 （6件）
式(16)でn×o(1/n)が0になるのはなぜですか
ててて様
スモールオー記法の定義に基づきます。
詳しくは下記の記事をご参照ください。
https://academ-aid.com/math/def-landau
式(5)->(6)で(t/√n)がexpから外に出てくる部分の計算がわからないのですが、教えていただけないでしょうか。
ぬおー様
ご質問ありがとうございます。特性関数の定義によるものです。下記の定義をご参照ください。
https://academ-aid.com/statistics/def-chf
式(8)で o(1/n) じゃなくて、
1/3! ×Φ(3)(0)× (t/√n)^3 + 1/4! ×Φ(4)(0)×(t/√n)^4 + ・・・ ＝ o( 1/n^(3/2) )
だと思います。
（でなきゃ 式(16)で 第2項→0 にならない思います）
それで「ててて」さんの質問に答えなおす必要がある思います。
（この証明とても参考なりました。ありがとうございます）
Manami-Math様
ご指摘ありがとうございます。
もう少し分かりやすい式変形を考えてみましたので，修正してみました。