【これなら分かる!】中心極限定理の証明

zuka

こんにちは。
zuka(@beginaid)です。

本記事は「これなら分かる!はじめての数理統計学」シリーズに含まれます。

内容は統計検定1級に準拠しています。もし不適切な内容や誤植があれば,記事下のコメント欄もしくはお問い合わせフォームよりご連絡いただけますと幸いです。

目次

中心極限定理

任意の実数$x$に対して

\begin{align}
P\left( \frac{1}{\sqrt{n}}\sum_{i=1}^n \frac{X_i – \mu}{\sqrt{\sigma^2}}\leq x \right)
\rightarrow \int_{-\infty}^{x}\frac{1}{2\pi}e^{-\frac{t^2}{2}}dt\quad (n \rightarrow \infty)
\end{align}

ただし,$X_i\;(i=1,2,\ldots,n)$は同じ分布に従う独立な確率変数であり,$E[X_i]=\mu$,$V[X_i]=\sigma^2$とおいた。

証明

中心極限定理を証明するにあたって,モーメント母関数を複素領域に拡張した特性関数を導入します。ビビる必要はありません。モーメント母関数に虚数$i$を加えただけです。特性関数$\varphi_{X}(t)$は以下のように書けます。

\begin{align}
\varphi_{X}(t) &= E[e^{itX}]
\end{align}

さて,証明の本筋に入っていきましょう。中心極限定理により示したい対象は$\frac{1}{n}\sum_{i=1}^n X_i – \mu$です。こいつ自身を新しい確率変数で置き換えても良いのですが,中心極限定理の左辺を見てもわかる通り,後々の式変形でゴミが付いてきます。そのため,ゴミもまとめて新しい確率変数で置き換えてしまいます。

\begin{align}
S_n &= \frac{1}{\sqrt{n}}\sum_{i=1}^n \frac{X_i – \mu}{\sigma}\\[0.7em]
&= \frac{1}{\sqrt{n}}\sum_{i=1}^n Z_i
\end{align}

のように新しい確率変数$S_n$と$Z_i$を定義します。やや天下り的ですが,先ほどもお伝えした通り,あくまでも目的は「$\frac{1}{n}\sum_{i=1}^n X_i – \mu$の評価」であり,そのために合理的な確率変数の定義をしているにすぎません。このとき,大数の法則の証明でも行なった計算と同様にすれば,$E[Z_i]=0$と$V[Z_i]=1$が確認できます。

さて,ここからの方針です。まずは$S_n$の特性関数を考えます。理由としては,特性関数の性質(モーメント母関数の性質と同じで微分を使ったモーメントの計算方法)を使うことにより,議論がシンプルになるからです。中心極限定理を示すことが目的ですので,特性関数を何らかの手段で近似をして正規分布の特性関数に収束することを示せばOKです。

「何らかの近似」というのは,今回の場合はテイラー展開を利用します。ちなみに,二項分布から正規分布への近似などではスターリングの公式を利用します。注意点として,ここでモーメント母関数を持ち出してしまうと,「モーメント母関数が存在する」という前提条件が必要になってしまうため,中心極限定理の証明としては適していません。さて,特性関数の計算から始めましょう。

\begin{align}
\varphi_{S_n}(t) &= E\left[e^{itS_n}\right]\\[0.7em]
&= E\left[\exp\left\{it \frac{1}{\sqrt{n}}\sum_{i=1}^n Z_i \right\}\right]\\[0.7em]
&= \prod_{i=1}^n E\left[\exp\left\{i\frac{t}{\sqrt{n}} Z_i \right\}\right]\\[0.7em]
&= \prod_{i=1}^n \varphi_{Z_i}\left(\frac{t}{\sqrt{n}}\right)\\[0.7em]
&= \left\{ \varphi_{Z}\left(\frac{t}{\sqrt{n}}\right) \right\}^n
\end{align}

ただし,$\varphi_{Z_1}=\varphi_{Z_2}=\cdots\varphi_{Z_n}=\varphi_{Z}$と上でもお伝えした通り,特性関数$\varphi_{Z}\left(\frac{t}{\sqrt{n}}\right)$の$t=0$まわりのテイラー展開を考えます。

\begin{align}
\varphi_{Z}\left(\frac{t}{\sqrt{n}}\right) &= \varphi_{Z}^{(0)}(0) + \varphi_{Z}^{(1)}(0)\frac{t}{\sqrt{n}} +
\varphi_{Z}^{(2)}(0)\frac{t^2}{2n} + o\left( \frac{1}{n} \right) \label{taylor}
\end{align}

ただし,$c$は定数を表し,$o(x)$は$x$よりも早く$0$に収束する関数を表します。ここで,$\varphi_{Z}^{(0)}(0)$などを計算していく訳ですが,ここにきて特性関数の性質が効いてきます。モーメント母関数の性質でも証明した通り,特性関数では

\begin{align}
\varphi_{Z}^{(m)}(0) &= \frac{E\left[Z^m\right]}{(-i)^m}
\end{align}

が成り立ちます。この証明は,モーメント母関数の性質と全く同様にして示すことができます。(微分するときに虚数$i$が出てくるだけの違いです)さて,実際に$\varphi_{Z}^{(0)}(0)$などを計算していきましょう。

\begin{alignat}{3}
\varphi_{Z}^{(0)}(0) &= \frac{E[Z^0]}{(-i)^0} &&= 1 &&\\[0.7em]
\varphi_{Z}^{(1)}(0) &= \frac{E[Z^1]}{(-i)^1} &&= 0 &&\\[0.7em]
\varphi_{Z}^{(2)}(0) &= \frac{E[Z^2]}{(-i)^2} &&= \sigma^2 + E[Z] &&= -1
\end{alignat}

ちなみに,$\varphi_{Z}^{(3)}(0)$は$c$に任せれば,計算はしなくても済みます。これらを,テイラー展開の式(\ref{taylor})にぶち込みましょう。

\begin{align}
\varphi_{Z}\left(\frac{t}{\sqrt{n}}\right) &= 1 – \frac{t^2}{2n} + o\left( \frac{1}{n} \right)
\end{align}

以上を踏まえれば,$\varphi_{S_n}(t)$は以下のように表されます。

\begin{align}
\varphi_{S_n}(t) &= \left\{ 1 – \frac{t^2}{2n} + o\left( \frac{1}{n} \right) \right\}^n
\end{align}

こいつを二項定理を利用して展開していきます。その際,$\left( \frac{1}{n}\right)^k$という項は全て$o\left( \frac{1}{n} \right)$に含めることができる点に注意すると,以下のように計算できます。

\begin{align}
\left\{ 1 – \frac{t^2}{2n} + o\left( \frac{1}{n} \right) \right\}^n
&= \left( 1 – \frac{t^2}{2n} \right)^n + n\cdot o\left( \frac{1}{n} \right) + 1\cdot o\left( \frac{1}{n} \right) + o\left( \frac{1}{n^2} \right)\\[0.7em]
&= \left( 1 – \frac{t^2}{2n} \right)^n + n\cdot o\left( \frac{1}{n} \right)
\end{align}

あともう一歩です。この極限をどのようにして計算するかというと,自然対数eの定義を利用します。

\begin{align}
e^{x}=\lim_{n\to \infty }\left(1+{\frac {x}{n}}\right)^{n}
\end{align}

つまり,以下のように変形していけばOKです。

\begin{align}
\left( 1 – \frac{t^2}{2n} \right)^n + n\cdot o\left( \frac{1}{n} \right)
&= \left( 1 + \left( – \frac{t^2/2}{n} \right) \right)^n + n\cdot o\left( \frac{1}{n} \right)\\[0.7em]
&\rightarrow e^{-\frac{t^2}{2}}
\end{align}

まとめると,$\varphi_{S_n}(t)$は以下のように表されました。

\begin{align}
\varphi_{S_n}(t) &\rightarrow e^{-\frac{t^2}{2}}
\end{align}

実は,$e^{-\frac{t^2}{2}}$というのは標準正規分布の特性関数になっています。実際に示します。$X$が正規分布${\rm N}(\mu, \sigma^2)$に従うならば

\begin{align}
\varphi_{X}(t) &= E[e^{itx}]\\[0.7em]
&= \int_{-\infty}^{\infty}e^{itx}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx\\[0.7em]
&= \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}+itx}dx\\[0.7em]
&= \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{(x-it)^2}{2}-\frac{t^2}{2}}dx\\[0.7em]
&= e^{-\frac{t^2}{2}}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{(x-it)^2}{2}}dx\\[0.7em]
&= e^{-\frac{t^2}{2}}
\end{align}

したがって,$S_n$は$n\rightarrow\infty$のとき${\rm N(0, 1)}$に従います。ゆえに,$S_n$の累積分布関数と標準正規分布の累積分布関数を考えれば,中心極限定理が導かれます。累積分布関数という意味では,中心極限定理は以下のように表すこともできます。

\begin{align}
P\left(a\leq X_n \leq b\right) &= \int_{a}^{b}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx
\end{align}

他にも,標準正規分布の累積分布関数を$\Phi(x)$と表せば

\begin{align}
P\left( \frac{1}{\sqrt{n}}\sum_{i=1}^n \frac{X_i – \mu}{\sqrt{\sigma^2}}\leq x \right)
\approx \Phi(x)
\end{align}

と表すこともできます。

シェアはこちらからお願いします!
URLをコピーする
URLをコピーしました!

コメント

コメントする

目次
閉じる