同一分布でなくても使える中心極限定理の話
初投稿...ども...
統計学の入門で中心極限定理を知って感動した（数学科以外も含む）大学生に向けて記事を書きます.
中心極限定理（central limit theorem, CLT）
おさらいとして，まずはオーソドックスな中心極限定理を挙げます．
$\sigma^2 < \infty$ と仮定する. $X_1, X_2, \dots, \overset{\text\small\textrm{i.i.d.}}{\sim} (\mu, \sigma^2)$ としたとき，法則収束 $\sqrt{n}(\overline{X}-\mu)/\sigma \overset{d}{\to} \mathcal{N}(0,1)$ が成立する. すなわち，$$\lim_{n\to\infty}P\left(\dfrac{\sqrt{n}(\overline{X}-\mu)}{\sigma}\leq x\right) = \int_{-\infty}^{x}\dfrac{1}{\sqrt{2\pi}}e^{-y^2/2}\;dy.$$
ここで $X_1, X_2, \dots, \overset{\text\small\textrm{i.i.d.}}{\sim} (\mu, \sigma^2)$ は, 各 $X_i$ が平均 $\mu$, 分散 $\sigma^2$ の分布 $f$ に独立に従うという意味です.
より砕けた表現をすれば，$n$が十分に大きいならば$\sqrt{n}(\overline{X}-\mu)/\sigma$は標準正規分布$\mathcal{N}(0,1)$に近似できるという主張です．
あるいは同じことですが，$\overline{X}$は正規表現$\mathcal{N}(\mu,\sigma^2/n)$に近似できます.
前提としてこの定理では $X_1, X_2, \dots$ は
- 互いに独立に分布し，かつ全て同一の確率分布に従う（独立同一分布, i.i.d.）
- 分散$\sigma^2$ を持つ （$\sigma^2<\infty$）
の条件を満たしていなければなりません.
例としてコーシー分布などの場合は, この定理は成立しません.
$Z_i = (X_i-\mu)/\sigma$ とすれば, $\mathbb{E}[Z_i] = 0,\;\mathrm{Var}(Z_i) = 1,\;\mathbb{E}[\overline{Z}] = 0,\;\mathrm{Var}(\overline{Z}) = n^{-1}.$
$Z_1$の特性関数を$\varphi_1(t)=\mathbb{E}[e^{itZ_1}]$ とすると，
$\sqrt{n}\overline{Z}$ の特性関数$\varphi$は，$\varphi(t)=\mathbb{E}[e^{it\sqrt{n}\overline{Z}}] = \left(\mathbb{E}[e^{(it/\sqrt{n})Z_1}]\right)^n =\left(\varphi_1(t/\sqrt{n})\right)^n $ と書ける．
ここで，$\varphi_1(0)=1,\;\varphi_1'(0)=\mathbb{E}[Z_1] =0,\;\varphi_1''(0)=\mathbb{E}[Z_1^2] =1$ より$\varphi(\cdot)$をテイラー展開すると，
$\varphi_1\left(\dfrac{t}{\sqrt{n}}\right) = 1 - \dfrac{t^2}{2n} + o(n^{-1})$（ただし，$\lim_{n\to\infty}n\cdot o(n^{-1}) = 0$）．
$a_n\to\alpha\;(n\to\infty)$ であれば $\left(1+\dfrac{a_n}{n}\right)^n \to e^\alpha\;(n\to\infty)$ であるから（ε-δ論法で示せばよい），
$$\varphi(t)=\left(1 - \dfrac{t^2}{2n} + o(n^{-1})\right)^n \to e^{-t^2/2}\;(n\to\infty)$$
となり，これは標準正規分布$\mathcal{N}(0,1)$の特性分布と一致する．
以上より，$\sqrt{n}\overline{Z} = \sqrt{n}(\overline{X}-\mu)/\sigma \to \mathcal{N}(0,1)$.
中心極限定理は区間推定や検定での近似を正当化することができるので，統計学では非常に重要な定理として扱われる訳ですね．
$X_1, X_2, \dots, \overset{\text\small\textrm{i.i.d.}}{\sim} \mathrm{Ber}(p),\;q=1-p,\;S_n=\sum_{i=1}^{n}X_i$ としたとき，法則収束 $(S_n-np)/\sqrt{npq} \overset{d}{\to} \mathcal{N}(0,1)$ が成立する.
$\mathrm{Ber}(p)$はBernoulli分布です（証明は先程の定理に適用するだけです）．
高校数学Bの統計で出てくる「$n$が十分大きいならば二項分布$\mathrm{Bin}(n,p)$が正規分布$\mathcal{N}(np,npq)$ に近似できる」という主張は，この De Moivre–Laplace 定理によるものなのです．
Lindeberg-Feller の定理
通常の CLT でも十分凄い主張ですが, 独立同一分布の仮定は実は緩めることができます.
$ \{X_i\}_{i=1}^{\infty}$ を独立な確率変数の列とし，$X_i\overset{\text\small\textrm{i.i.d.}}{\sim}(\mu_i,\sigma_i^2)\;(\sigma_i^2<\infty)$ とする.
$S_n=\sum_{i=1}^{n}X_i$ としたとき, 全ての $\varepsilon>0$ で
$$
\lim_{n\to\infty} \frac{1}{S_n^2}\sum_{i=1}^{n}\mathbb{E}\left[(X_i-\mu_i)^2\bf{1}_{[|X_i-\mu_i|\geq\varepsilon S_n]}\right] = 0
$$
であること,
$$
\begin{align*}
\begin{cases}
\text{(i)}&\displaystyle\lim_{n\to\infty}\max_{i\leq n}\;{\sigma_i^2/S_n^2}=0, \\
\text{(ii)}&\displaystyle \frac{1}{S_n}\sum_{i=1}^{n}(X_i-\mu_i) \overset{d}{\to} \mathcal{N}(0,1)
\end{cases}
\end{align*}
$$
は同値である.
ここで, $\mathbf{1}$ は定義関数です.
$$\lim_{n\to\infty} \frac{1}{S_n^2}\sum_{i=1}^{n}\mathbb{E}\left[(X_i-\mu_i)^2\bf{1}_{[|X_i-\mu_i|\geq\varepsilon S_n]}\right] = 0$$
は Lindeberg 条件 と呼ばれ, これは (ii) の式が分布収束するための十分条件となっています.
後に (i)かつ(ii) が Lindeberg 条件と同値であることを Feller が示しました.
証明は長いので, 高信 敏「確率論」(共立出版, 2015) の第4章などを参照してください （位相や測度論なども出る本なので難易度は高めです）.
Lyapunov の中心極限定理 (Lyapunov CLT)
Lindeberg-Feller の定理から中心極限定理の色々な派生形が得られることが分かると思いますが,
その1つとして Lyapunov の中心極限定理が上げられます.
$ \{X_i\}_{i=1}^{\infty}$ を独立な確率変数の列とし，$X_i\overset{\text\small\textrm{i.i.d.}}{\sim}(\mu_i,\sigma_i^2)\;(\sigma_i^2<\infty)$ とする.
$S_n=\sum_{i=1}^{n}X_i$ としたとき,$$
\lim_{n\to\infty} \frac{1}{S_n^3}\sum_{i=1}^{n}\mathbb{E}\left[|X_i-\mu_i|^3\right] = 0
$$
ならば,
$$\displaystyle \frac{1}{S_n}\sum_{i=1}^{n}(X_i-\mu_i) \overset{d}{\to} \mathcal{N}(0,1).$$
Lindeberg 条件を満たすことを示せばよい.
$|X_i-\mu_i|\geq\varepsilon S_n$ ならば, $|X_i-\mu_i|^3\geq|X_i-\mu_i|^2\varepsilon S_n$ となるので,
$$
\frac{1}{S_n^2}\sum_{i=1}^{n}\mathbb{E}\left[(X_i-\mu_i)^2\bf{1}_{[|X_i-\mu_i|\geq\varepsilon S_n]}\right]
\leq \frac{1}{\varepsilon S_n^3}\sum_{i=1}^{n}\mathbb{E}\left[|X_i-\mu_i|^3\right]
$$
であるから, はさみうちの原理から Lindeberg 条件を満たす.
参考文献
- 久保川 達也「現代数理統計学の基礎」 (共立出版, 2017)
- 高信 敏「確率論」(共立出版, 2015)
この記事を高評価した人
この記事に送られたバッジ
投稿者
