【大数の法則】弱法則と強法則のメモ
大数の強法則は、独立同分布の場合、より一般には $\mathbb E[|X_1|]<\infty$ の仮定で成り立つ。
しかし、その一般形の証明はやや長くなるため、本稿では証明の見通しを重視し、十分条件として
$$
\mathbb E[X_1^4]<\infty
$$
を仮定した形で示す。
Def.
$(\Omega,\mathcal F,\mathbb P)$ を確率空間とする。
- 実数値確率変数列 $(Y_n)_{n=1}^{\infty}$ と実数値確率変数 $Y$ に対して、$Y_n$ が $Y$ に確率収束するとは、
任意の $\varepsilon>0$ に対して、
$$ \lim_{n\to\infty}\mathbb P\bigl(\{\omega\in\Omega\mid |Y_n(\omega)-Y(\omega)|>\varepsilon\}\bigr)=0 $$
が成り立つことをいう。 - このとき、
$$ Y_n\xrightarrow{p}Y $$
または
$$ Y_n\overset{\mathbb P}{\longrightarrow}Y $$
と表す。
$(\Omega,\mathcal F,\mathbb P)$ を確率空間とする。
- 実数値確率変数列 $(Y_n)_{n=1}^{\infty}$ と実数値確率変数 $Y$ に対して、$Y_n$ が $Y$ に概収束(ほとんど確実に収束)するとは、
$$ \mathbb P\left(\left\{\omega\in\Omega\mid \lim_{n\to\infty}Y_n(\omega)=Y(\omega)\right\}\right)=1 $$
が成り立つことをいう。 - このとき、
$$ Y_n\xrightarrow{\mathrm{a.s.}}Y $$
または
$$ Y_n\to Y\quad\mathrm{a.s.} $$
と表す。
実数値確率変数列 $(Y_n)_{n=1}^{\infty}$ と実数値確率変数 $Y$ に対して、
$$
\left\{\omega\in\Omega\mid \lim_{n\to\infty}Y_n(\omega)=Y(\omega)\right\}
$$
は $\mathcal F$ に属する。実際、この集合は
$$
\bigcap_{k=1}^{\infty}\bigcup_{m=1}^{\infty}\bigcap_{n=m}^{\infty}
\left\{\omega\in\Omega\mid |Y_n(\omega)-Y(\omega)|\leq \frac{1}{k}\right\}
$$
と表せるため、可算回の和集合と共通部分により可測である。
Prop&Proof
級数
$$
\sum_{n=1}^{\infty}\frac{1}{n^2}
$$
は収束する。
$n\in\mathbb N_{>0}$ に対して、部分和を
$$
s_n:=\sum_{k=1}^{n}\frac{1}{k^2}
$$
とおく。
- まず、数列 $(s_n)_{n=1}^{\infty}$ は単調増加である事を示す。
部分和の定義より、
$$ s_n:=\sum_{k=1}^{n}\frac{1}{k^2},\quad s_{n+1}:=\sum_{k=1}^{n+1}\frac{1}{k^2} $$
である。したがって、
$$ \begin{align} s_{n+1} &= \sum_{k=1}^{n+1}\frac{1}{k^2}\\ &= \sum_{k=1}^{n}\frac{1}{k^2} + \frac{1}{(n+1)^2}\\ &= s_n+\frac{1}{(n+1)^2} \end{align} $$
である。よって、
$$ \begin{align} s_{n+1}-s_n &= \left(s_n+\frac{1}{(n+1)^2}\right)-s_n\\ &= \frac{1}{(n+1)^2} \end{align} $$
である。
また、$n\in\mathbb N_{>0}$ より $n+1>0$ であるから、
$$ (n+1)^2>0 $$
である。したがって、
$$ \frac{1}{(n+1)^2}>0 $$
である。
以上より、
$$ s_{n+1}-s_n = \frac{1}{(n+1)^2} > 0 $$
が成り立つ。したがって、数列 $(s_n)_{n=1}^{\infty}$ は単調増加である。
$ $ - 次に、上に有界であることを示す。
$k\ge 2$ のとき、
$$ k^2\ge k(k-1)>0 $$
である。したがって、正の数に対して逆数を取ると不等号の向きが反転するので、
$$ \frac{1}{k^2}\le \frac{1}{k(k-1)} $$
である。また、$k-1\ne 0$ かつ $k\ne 0$ であるから、以下の式変形ができる。
$$ \begin{align} \frac{1}{k-1}-\frac{1}{k} &= \frac{k}{k(k-1)}-\frac{k-1}{k(k-1)}\\ &= \frac{k-(k-1)}{k(k-1)}\\ &= \frac{k-k+1}{k(k-1)}\\ &= \frac{1}{k(k-1)} \end{align} $$
したがって、
$$ \frac{1}{k(k-1)} = \frac{1}{k-1}-\frac{1}{k} $$
が成り立つ。
したがって、任意の $n\ge 2$ に対して、
$$ \begin{align} s_n &= 1+\sum_{k=2}^{n}\frac{1}{k^2}\\ &\le 1+\sum_{k=2}^{n}\frac{1}{k(k-1)}\\ &= 1+\sum_{k=2}^{n}\left(\frac{1}{k-1}-\frac{1}{k}\right)\\ &= 1+\left(1-\frac{1}{2}\right) +\left(\frac{1}{2}-\frac{1}{3}\right) +\cdots +\left(\frac{1}{n-1}-\frac{1}{n}\right)\\ &= 1+1-\frac{1}{n}\\ &= 2-\frac{1}{n}\\ &< 2 \end{align} $$
である。また、$n=1$ のときは $s_1=1<2$ である。
よって、任意の $n\in\mathbb N_{>0}$ に対して、
$$ s_n<2 $$
である。
-以上より、$(s_n)_{n=1}^{\infty}$ は単調増加かつ上に有界な実数列である。
したがって、実数の単調収束定理により、$(s_n)_{n=1}^{\infty}$ は有限な極限をもつ。すなわち、ある $s\in\mathbb R$ が存在して、
$$
\lim_{n\to\infty}s_n=s
$$
が成り立つ。ゆえに、級数
$$
\sum_{n=1}^{\infty}\frac{1}{n^2}
$$
は収束する。
$$ \Box$$
$(\Omega,\mathcal F,\mathbb P)$ を確率空間とし、$(X_n)_{n=1}^{\infty}$ を実数値確率変数列とする。
$(X_n)_{n=1}^{\infty}$ は互いに独立であり、同一分布に従い、かつ
$$
\mathbb E[X_1^2]<\infty
$$
を満たすとする。このとき、
$$
\mu:=\mathbb E[X_1]
$$
および
$$
\sigma^2:=\mathrm{Var}(X_1)=\mathbb E[(X_1-\mu)^2]
$$
とおき、標本平均を
$$
\bar X_n:=\frac{1}{n}\sum_{i=1}^{n}X_i
$$
で定めると、
$$
\bar X_n\xrightarrow{p}\mu
$$
が成り立つ。すなわち、任意の $\varepsilon>0$ に対して、
$$
\lim_{n\to\infty}\mathbb P(|\bar X_n-\mu|>\varepsilon)=0
$$
が成り立つ。
確率変数列 $X_1,X_2,\cdots$ は独立同分布であり、仮定より $\mathbb{E}[X_1^2]<\infty$ が成り立つ。
- 仮定より $\mathbb E[X_1^2]<\infty$ である。
したがって、コーシー・シュワルツの不等式( 証明はコチラ )より、
$$ \begin{align} \mathbb E[|X_1|] &= \mathbb E[|X_1|\cdot 1_{\Omega}]\\ &\le \sqrt{\mathbb E[|X_1|^2]}\sqrt{\mathbb E[1_{\Omega}^2]}\\ &= \sqrt{\mathbb E[X_1^2]}\sqrt{\mathbb E[1_{\Omega}]}\\ &= \sqrt{\mathbb E[X_1^2]}\sqrt{\mathbb P(\Omega)}\\ &= \sqrt{\mathbb E[X_1^2]}\\ &< \infty \end{align} $$
である。したがって、$X_1$ は可積分であり、
$$ \mu:=\mathbb E[X_1]\in\mathbb R $$
が定まる。
$ $ - また、$\mu=\mathbb E[X_1]\in\mathbb R$ であり、仮定より $\mathbb E[X_1^2]<\infty$ であるから、
$$ \begin{align} \mathbb E[(X_1-\mu)^2] &= \mathbb E[X_1^2-2\mu X_1+\mu^2]\\ &= \mathbb E[X_1^2]-\mathbb E[2\mu X_1]+\mathbb E[\mu^2]\\ &= \mathbb E[X_1^2]-2\mu\mathbb E[X_1]+\mu^2\mathbb P(\Omega)\\ &= \mathbb E[X_1^2]-2\mu\cdot\mu+\mu^2\cdot 1\\ &= \mathbb E[X_1^2]-2\mu^2+\mu^2\\ &= \mathbb E[X_1^2]-\mu^2\\ &< \infty \end{align} $$
である。したがって、
$$ \sigma^2:=\mathrm{Var}(X_1)=\mathbb E[(X_1-\mu)^2] $$
は有限に定まる。
$ $ - i) 次に標本平均
$$ \bar{X}_n:=\frac{1}{n}\sum_{i=1}^{n}X_i $$
を考える。まず期待値を計算する。線形性( 証明はコチラ )と同分布性より
$$ \mathbb{E}[X_i]=\mathbb{E}[X_1]=\mu $$
であるから
$$ \mathbb{E}[\bar{X}_n] =\mathbb{E}\biggl[\frac{1}{n}\sum_{i=1}^{n}X_i\biggr] =\frac{1}{n}\sum_{i=1}^{n}\mathbb{E}[X_i] =\frac{1}{n}\cdot n\mu =\mu $$
が成り立つ。
$ $
ii) 次に分散を計算する。
分散の基本性質( 証明はコチラ )より
$$ \mathrm{Var}(\bar{X}_n) =\mathrm{Var}\biggl(\frac{1}{n}\sum_{i=1}^{n}X_i\biggr) =\frac{1}{n^2}\mathrm{Var}\biggl(\sum_{i=1}^{n}X_i\biggr) $$
である。ここで、右辺の分散は
$$ \mathrm{Var}\Bigl(\sum_{i=1}^{n} X_i\Bigr) =\sum_{i=1}^{n}\mathrm{Var}(X_i)+2\sum_{1\le i< j\le n}\mathrm{Cov}(X_i,X_j) $$
が知られている( 証明はコチラ )。
特に、共分散については、$i\neq j$ のとき
$$ \mathrm{Cov}(X_i,X_j)=\mathbb E[X_iX_j]-\mathbb E[X_i]\mathbb E[X_j] $$
である( 証明はコチラ )が、
独立性より積の期待値は期待値の積に分解できるから $\mathbb E[X_iX_j]=\mathbb E[X_i]\mathbb E[X_j]$ が言えるため $0$ である( 証明はコチラ )。
したがって、
$$ \mathrm{Var}\biggl(\sum_{i=1}^{n}X_i\biggr) =\sum_{i=1}^{n}\mathrm{Var}(X_i) $$
が成り立つ。同分布性より $\mathrm{Var}(X_i)=\mathrm{Var}(X_1)=\sigma^2$ であるから
$$ \mathrm{Var}\biggl(\sum_{i=1}^{n}X_i\biggr) =\sum_{i=1}^{n}\sigma^2 =n\sigma^2 $$
となる。従って
$$ \mathrm{Var}(\bar{X}_n) =\frac{1}{n^2}\cdot n\sigma^2 =\frac{\sigma^2}{n} $$
を得る。
$ $ - ここで チェビシェフの不等式を用いる。
すなわち、$\mathbb{E}[Y^2]<\infty$ を満たす任意の確率変数 $Y$ と任意の $\varepsilon>0$ に対して
$$ \mathbb{P}(|Y-\mathbb{E}[Y]|>\varepsilon)\le \frac{\mathrm{Var}(Y)}{\varepsilon^2} $$
が成り立つ( 証明はコチラ )。
これを $Y=\bar{X}_n$ に適用し、上で求めた $\mathbb{E}[\bar{X}_n]=\mu$ と $\mathrm{Var}(\bar{X}_n)=\sigma^2/n$ を用いると
$$ \begin{align} \mathbb P\bigl(|\overline X_n-\mu|>\varepsilon\bigr) &\le \mathbb P\bigl(|\overline X_n-\mu|\ge\varepsilon\bigr)\\ &= \mathbb P\bigl(|\overline X_n-\mathbb E[\overline X_n]|\ge\varepsilon\bigr)\\ &\le \frac{\mathrm{Var}(\overline X_n)}{\varepsilon^2}\\ &= \frac{\sigma^2}{n\varepsilon^2} \end{align} $$
である。右辺は $n\to\infty$ のとき $0$ に収束する。
-よって任意の $\varepsilon>0$ に対して
$$
\lim_{n\to\infty}\mathbb{P}\bigl(|\bar{X}_n-\mu|>\varepsilon\bigr)=0
$$
が成り立ち、従って
$$
\bar{X}_n\xrightarrow{p}\mu
$$
が示された。
$$ \Box$$
$(\Omega,\mathcal F,\mathbb P)$ を確率空間とし、$(X_n)_{n=1}^{\infty}$ を実数値確率変数列とする。
$(X_n)_{n=1}^{\infty}$ は相互に独立であり、同一分布に従い、かつ
$$
\mathbb E[X_1^4]<\infty
$$
を満たすとする。このとき、
$$
\mu:=\mathbb E[X_1]
$$
とおき、$n\in\mathbb N_{>0}$ に対して標本平均を
$$
\overline X_n:=\frac{1}{n}\sum_{i=1}^{n}X_i
$$
で定めると、
$$
\overline X_n\xrightarrow{\mathrm{a.s.}}\mu
$$
が成り立つ。すなわち、
$$
\mathbb P\left(\left\{\omega\in\Omega\mid \lim_{n\to\infty}\overline X_n(\omega)=\mu\right\}\right)=1
$$
が成り立つ。
仮定より $\mathbb E[X_1^4]<\infty$ である。
- まず、$\mathbb E[X_1^2]<\infty$ を示す。
仮定より、
$$ \mathbb E[(X_1^2)^2]=\mathbb E[X_1^4]<\infty $$
であるから、$X_1^2$ は $2$ 乗可積分である。
また、
$$ \mathbb E[1_{\Omega}^2]=\mathbb P(\Omega)=1<\infty $$
であるから、$1_{\Omega}$ も $2$ 乗可積分である。
したがって、コーシー・シュワルツの不等式( 証明はコチラ )より、
$$ \begin{align} \mathbb E[X_1^2] &= \mathbb E[X_1^2\cdot 1_{\Omega}]\\ &\le \sqrt{\mathbb E[(X_1^2)^2]}\sqrt{\mathbb E[1_{\Omega}^2]}\\ &= \sqrt{\mathbb E[X_1^4]}\sqrt{\mathbb P(\Omega)}\\ &= \sqrt{\mathbb E[X_1^4]}\\ &< \infty \end{align} $$
である。したがって、$\mathbb E[X_1^2]<\infty$ が成り立つ。
$ $ - 次に、$\mathbb E[|X_1|]<\infty$ を示す。
いま示したことより、
$$ \mathbb E[|X_1|^2]=\mathbb E[X_1^2]<\infty $$
であるから、$|X_1|$ は $2$ 乗可積分である。
したがって、再びコーシー・シュワルツの不等式( 証明はコチラ )より、
$$ \begin{align} \mathbb E[|X_1|] &= \mathbb E[|X_1|\cdot 1_{\Omega}]\\ &\le \sqrt{\mathbb E[|X_1|^2]}\sqrt{\mathbb E[1_{\Omega}^2]}\\ &= \sqrt{\mathbb E[X_1^2]}\sqrt{\mathbb P(\Omega)}\\ &= \sqrt{\mathbb E[X_1^2]}\\ &< \infty \end{align} $$
である。よって、$X_1$ は可積分である。
したがって、期待値 $\mathbb E[X_1]$ は有限な実数として存在する。すなわち、
$$ \mu:=\mathbb E[X_1]\in\mathbb R $$
が定まる。
$ $ - ここで、
$$ Z_i:=X_i-\mu \quad(i\in\mathbb N_{>0}) $$
とおく。
写像 $g:\mathbb R\to\mathbb R$ を
$$ g(x):=x-\mu $$
で定めると、$g$ はボレル可測であり、$Z_i=g(X_i)$ である。
したがって、$(X_i)_{i=1}^{\infty}$ が相互に独立であることから、$(Z_i)_{i=1}^{\infty}$ も相互に独立である(補足を参照)。
また、$(X_i)_{i=1}^{\infty}$ は同一分布に従い、各 $Z_i$ は同じ写像 $g$ による $X_i$ の像であるから、$(Z_i)_{i=1}^{\infty}$ も同一分布に従う(補足を参照)。
$ $
また、期待値の線型性( 証明はコチラ )より、
$$ \mathbb E[Z_1] = \mathbb E[X_1-\mu] = \mathbb E[X_1]-\mu = 0 $$
である。
さらに、任意の $x,y\in\mathbb R$ に対して、
$$ |x-y|^4\le 8(|x|^4+|y|^4) $$
が成り立つ(補足を参照)。したがって、
$$ \begin{align} \mathbb E[|Z_1|^4] &= \mathbb E[|X_1-\mu|^4]\\ &\le 8\mathbb E[|X_1|^4]+8|\mu|^4\\ &< \infty \end{align} $$
である。よって、
$$ M_4:=\mathbb E[|Z_1|^4]<\infty $$
とおくことができる。
また、コーシー・シュワルツの不等式( 証明はコチラ )より、
$$ \begin{align} \left(\mathbb E[Z_1^2]\right)^2 &= \left(\mathbb E[Z_1^2\cdot 1_{\Omega}]\right)^2\\ &\le \mathbb E[(Z_1^2)^2]\mathbb E[1_{\Omega}^2]\\ &= \mathbb E[Z_1^4]\mathbb P(\Omega)\\ &= M_4 \end{align} $$
である。
$ $ - 次に、
$$ S_n:=\sum_{i=1}^{n}Z_i $$
とおく。このとき、
$$ \overline X_n-\mu = \frac{1}{n}\sum_{i=1}^{n}(X_i-\mu) = \frac{S_n}{n} $$
である。したがって、示すべきことは
$$ \frac{S_n}{n}\xrightarrow{\mathrm{a.s.}}0 $$
である。
$ $ - まず $4$ 次モーメントを評価する。展開すると、
$$ S_n^4 = \left(\sum_{i=1}^{n}Z_i\right)^4 $$
である。$\mathbb E[Z_i]=0$ と独立性より、展開に現れる項のうち、ある添字が $1$ 乗で現れる項の期待値は $0$ になる。
したがって、期待値をとると、非零となり得る項は $Z_i^4$ 型と $Z_i^2Z_j^2$ 型だけである(補足を参照)。
よって、
$$ \begin{align} \mathbb E[S_n^4] &= \sum_{i=1}^{n}\mathbb E[Z_i^4] + 6\sum_{1\le i< j\le n}\mathbb E[Z_i^2Z_j^2]\\ &= n\mathbb E[Z_1^4] + 6\sum_{1\le i< j\le n}\mathbb E[Z_i^2]\mathbb E[Z_j^2]\\ &= nM_4 + 6\sum_{1\le i< j\le n}\mathbb E[Z_1^2]^2\\ &= nM_4 + 6\binom{n}{2}\mathbb E[Z_1^2]^2\\ &= nM_4 + 6\cdot\frac{n(n-1)}{2}\mathbb E[Z_1^2]^2\\ &= nM_4 + 3n(n-1)\mathbb E[Z_1^2]^2\\ &\le nM_4 + 3n(n-1)M_4\\ &= \{n+3n(n-1)\}M_4\\ &= (n+3n^2-3n)M_4\\ &= (3n^2-2n)M_4\\ &\le 4n^2M_4 \end{align} $$
である。ここで、第 $2$ 等号では独立性により $\mathbb E[Z_i^2Z_j^2]=\mathbb E[Z_i^2]\mathbb E[Z_j^2]$ を用い( 証明はコチラ )、
同一分布性により $\mathbb E[Z_i^4]=\mathbb E[Z_1^4]$ および $\mathbb E[Z_i^2]=\mathbb E[Z_1^2]$ を用いた。
$ $ - 任意に $\varepsilon>0$ をとる。
このとき、
$$ \left|\frac{S_n}{n}\right|^4 $$
は非負確率変数であり、前段階の評価より可積分である。したがって、マルコフの不等式( 証明はコチラ )より、
$$ \begin{align} \mathbb P\left(\left|\frac{S_n}{n}\right|>\varepsilon\right) &= \mathbb P\left(\left|\frac{S_n}{n}\right|^4>\varepsilon^4\right)\\ &\le \frac{\mathbb E\left[\left|\frac{S_n}{n}\right|^4\right]}{\varepsilon^4}\\ &= \frac{\mathbb E[|S_n|^4]}{n^4\varepsilon^4}\\ &= \frac{\mathbb E[S_n^4]}{n^4\varepsilon^4}\\ &\le \frac{4n^2M_4}{n^4\varepsilon^4}\\ &= \frac{4M_4}{n^2\varepsilon^4} \end{align} $$
である。したがって、
$$ \sum_{n=1}^{\infty} \mathbb P\left(\left|\frac{S_n}{n}\right|>\varepsilon\right) \le \frac{4M_4}{\varepsilon^4} \sum_{n=1}^{\infty}\frac{1}{n^2} < \infty $$
である($2$ 乗逆数級数の収束は本記事内で証明済み)。
$ $ - ここで、任意の $\varepsilon>0$ に対して、事象
$$ A_n^{(\varepsilon)} := \left\{\omega\in\Omega\mid \left|\frac{S_n(\omega)}{n}\right|>\varepsilon\right\} $$
を定める。ここで、$S_n/n$ は実数値確率変数であるから、$A_n^{(\varepsilon)}\in\mathcal F$ である。
前段階の評価より、
$$ \sum_{n=1}^{\infty}\mathbb P(A_n^{(\varepsilon)})<\infty $$
である。
したがって、ボレル・カンテリ補題( 証明はコチラ )より、
$$ \mathbb P\left(\limsup_{n\to\infty}A_n^{(\varepsilon)}\right)=0 $$
である。ここで、
$$ \limsup_{n\to\infty}A_n^{(\varepsilon)} = \bigcap_{N=1}^{\infty}\bigcup_{n=N}^{\infty}A_n^{(\varepsilon)} $$
であるから、その補集合では、ある $N\in\mathbb N_{>0}$ が存在して、すべての $n\ge N$ に対して
$$ \left|\frac{S_n}{n}\right|\le \varepsilon $$
が成り立つ。
特に、各 $m\in\mathbb N_{>0}$ に対して $\varepsilon=1/m$ とおくと、
$$ \mathbb P\left(\limsup_{n\to\infty}A_n^{(1/m)}\right)=0 $$
である。
そこで、
$$ B_m := \left(\limsup_{n\to\infty}A_n^{(1/m)}\right)^c $$
とおくと、
$$ \mathbb P(B_m)=1 $$
である。よって、
$$ B:=\bigcap_{m=1}^{\infty}B_m $$
とおくと、ド・モルガンの法則( 証明はコチラ )より、
$$ B^c = \bigcup_{m=1}^{\infty}B_m^c $$
であるから、確率の劣加法性( 証明はコチラ )より、
$$ \mathbb P(B^c) \le \sum_{m=1}^{\infty}\mathbb P(B_m^c) = 0 $$
である。したがって、
$$ \mathbb P(B)=1 $$
である。
$ $ - 任意に $\omega\in B$ をとる。このとき、$\omega\in B=\bigcap_{m=1}^{\infty}B_m$ であるから、任意の $m\in\mathbb N_{>0}$ に対して、$\omega\in B_m$ である。
したがって、任意の $m\in\mathbb N_{>0}$ に対して、ある $N_m\in\mathbb N_{>0}$ が存在して、すべての $n\ge N_m$ に対して、
$$ \left|\frac{S_n(\omega)}{n}\right| \le \frac{1}{m} $$
が成り立つ。
ここで、任意に $\delta>0$ をとる。アルキメデス性より、ある $m\in\mathbb N_{>0}$ が存在して、
$$ \frac{1}{m}<\delta $$
が成り立つ。この $m$ に対して、上で得た $N_m$ をとれば、すべての $n\ge N_m$ に対して、
$$ \left|\frac{S_n(\omega)}{n}-0\right| = \left|\frac{S_n(\omega)}{n}\right| \le \frac{1}{m} < \delta $$
である。よって、
$$ \lim_{n\to\infty}\frac{S_n(\omega)}{n}=0 $$
である。
以上より、任意の $\omega\in B$ に対して、
$$ \lim_{n\to\infty}\frac{S_n(\omega)}{n}=0 $$
が成り立つ。また、前段階で $\mathbb P(B)=1$ を示したので、
$$ \frac{S_n}{n}\xrightarrow{\mathrm{a.s.}}0 $$
である。さらに、
$$ \overline X_n-\mu=\frac{S_n}{n} $$
であるから、
$$ \overline X_n-\mu\xrightarrow{\mathrm{a.s.}}0 $$
である。
-したがって、
$$
\overline X_n\xrightarrow{\mathrm{a.s.}}\mu
$$
が成り立つ。
$$ \Box$$
上の命題は、$\mathbb E[X_1^4]<\infty$ を仮定した十分条件版である。
独立同分布の場合の大数の強法則の標準的な一般形では、
$$
\mathbb E[|X_1|]<\infty
$$
を仮定すれば、
$$
\frac{1}{n}\sum_{i=1}^{n}X_i\xrightarrow{\mathrm{a.s.}}\mathbb E[X_1]
$$
が成り立つ。ただし、この一般形の証明には切断変数、級数評価、またはコルモゴロフの不等式などを用いるため、
有限 $4$ 次モーメント版より更に証明が長くなる。
より一般に、$X_1,X_2,\ldots$ を独立同分布な実数値確率変数列とし、$g:\mathbb R\to\mathbb R$ をボレル可測関数とする。
このとき、
$$
g(X_1),g(X_2),\ldots
$$
も独立同分布な実数値確率変数列である。
- まず、独立性を示す。
任意の $k\in\mathbb N$、任意の相異なる添字 $i_1,\ldots,i_k\in\mathbb N$、任意のボレル集合 $B_1,\ldots,B_k\in\mathcal B(\mathbb R)$ を取る。
$g$ はボレル可測であるから、各 $j=1,\ldots,k$ に対して、
$$ g^{-1}(B_j)\in\mathcal B(\mathbb R) $$
である。
また、
$$ \{g(X_{i_j})\in B_j\} = \{X_{i_j}\in g^{-1}(B_j)\} $$
が成り立つ。
したがって、$X_1,X_2,\ldots$ の独立性より、
$$ \begin{align} \mathbb P\left( \bigcap_{j=1}^{k}\{g(X_{i_j})\in B_j\} \right) &= \mathbb P\left( \bigcap_{j=1}^{k}\{X_{i_j}\in g^{-1}(B_j)\} \right)\\ &= \prod_{j=1}^{k} \mathbb P\left(X_{i_j}\in g^{-1}(B_j)\right)\\ &= \prod_{j=1}^{k} \mathbb P\left(g(X_{i_j})\in B_j\right) \end{align} $$
である。
よって、$g(X_1),g(X_2),\ldots$ は互いに独立である。
$ $ - 次に、同分布性を示す。
任意の $i\in\mathbb N$ と任意のボレル集合 $B\in\mathcal B(\mathbb R)$ に対して、
$$ \mathbb P(g(X_i)\in B) = \mathbb P(X_i\in g^{-1}(B)) $$
である。
$X_1,X_2,\ldots$ は同分布であるから、右辺は $i$ によらない。したがって、
$$ \mathbb P(g(X_i)\in B) $$
も $i$ によらない。
よって、$g(X_1),g(X_2),\ldots$ は同分布である。
-以上より、$g(X_1),g(X_2),\ldots$ は独立同分布である。
$$ \Box$$
任意の $x,y\in\mathbb R$ に対して、三角不等式より
$$ |x-y|\le |x|+|y| $$
である。したがって、
$$ |x-y|^4\le (|x|+|y|)^4 $$
である。
ここで、関数 $t\mapsto t^4$ は $[0,\infty)$ 上で凸であるから、任意の $a,b\ge 0$ に対して
$$ \left(\frac{a+b}{2}\right)^4\le \frac{a^4+b^4}{2} $$
が成り立つ(
証明はコチラ
)。両辺に $16$ をかけると、
$$ (a+b)^4\le 8(a^4+b^4) $$
を得る。
これを $a=|x|$、$b=|y|$ に適用すると、
$$ (|x|+|y|)^4\le 8(|x|^4+|y|^4) $$
である。以上より、
$$ |x-y|^4\le (|x|+|y|)^4\le 8(|x|^4+|y|^4) $$
である。
$S_n=\sum_{i=1}^{n}Z_i$ とする。このとき、
$$
S_n^4
=
\left(\sum_{i=1}^{n}Z_i\right)^4
$$
は、$4$ 個の因子
$$
\left(\sum_{i=1}^{n}Z_i\right)
\left(\sum_{i=1}^{n}Z_i\right)
\left(\sum_{i=1}^{n}Z_i\right)
\left(\sum_{i=1}^{n}Z_i\right)
$$
から、それぞれ $1$ つずつ $Z_i$ を選んで掛け合わせた項の総和である。
したがって、展開後の各項は
$$
Z_{i_1}Z_{i_2}Z_{i_3}Z_{i_4}
$$
という形をしている。ここで、添字 $i_1,i_2,i_3,i_4$ の一致の仕方によって、項の型は次の $5$ 種類に分類される。
- $1$ つの添字が $4$ 回現れる型
ある $i$ が $4$ 回現れる場合である。このとき項は
$$ Z_i^4 $$
の形になる。したがって、この型の項の総和は
$$ \sum_{i=1}^{n}Z_i^4 $$
である。
$ $ - $1$ つの添字が $3$ 回、別の添字が $1$ 回現れる型
相異なる添字 $i,j$ に対して、$i$ が $3$ 回、$j$ が $1$ 回現れる場合である。このとき項は
$$ Z_i^3Z_j $$
の形になる。
$4$ 個の位置のうち、$Z_j$ が入る位置の選び方は $4$ 通りである。したがって、この型の項の総和は
$$ 4\sum_{\substack{1\le i,j\le n\\ i\ne j}}Z_i^3Z_j $$
である。
$ $ - $2$ つの添字がそれぞれ $2$ 回ずつ現れる型
相異なる添字 $i,j$ に対して、$i$ が $2$ 回、$j$ が $2$ 回現れる場合である。このとき項は
$$ Z_i^2Z_j^2 $$
の形になる。
$4$ 個の位置に $Z_i,Z_i,Z_j,Z_j$ を並べる方法は
$$ \frac{4!}{2!2!}=6 $$
通りである。また、$i,j$ の重複を避けるために $i< j$ として数える。したがって、この型の項の総和は
$$ 6\sum_{1\le i< j\le n}Z_i^2Z_j^2 $$
である。
$ $ - $1$ つの添字が $2$ 回、別の $2$ つの添字が $1$ 回ずつ現れる型
相異なる添字 $i,j,k$ に対して、$i$ が $2$ 回、$j$ と $k$ がそれぞれ $1$ 回ずつ現れる場合である。このとき項は
$$ Z_i^2Z_jZ_k $$
の形になる。
$4$ 個の位置に $Z_i,Z_i,Z_j,Z_k$ を並べる方法は
$$ \frac{4!}{2!1!1!}=12 $$
通りである。また、$j,k$ の重複を避けるために $j< k$ として数える。したがって、この型の項の総和は
$$ 12\sum_{\substack{1\le i,j,k\le n\\ i,j,k\ \mathrm{all\ distinct}\\ j< k}}Z_i^2Z_jZ_k $$
である。
$ $ - $4$ つの添字がすべて異なる型
相異なる添字 $i,j,k,\ell$ がそれぞれ $1$ 回ずつ現れる場合である。このとき項は
$$ Z_iZ_jZ_kZ_{\ell} $$
の形になる。
$4$ 個の位置に $Z_i,Z_j,Z_k,Z_{\ell}$ を並べる方法は
$$ 4!=24 $$
通りである。また、同じ組を重複して数えないために $i< j< k<\ell$ として数える。したがって、この型の項の総和は
$$ 24\sum_{1\le i< j< k<\ell\le n}Z_iZ_jZ_kZ_{\ell} $$
である。
-以上より、
$$
\begin{align}
S_n^4
&=
\sum_{i=1}^{n}Z_i^4
+
4\sum_{\substack{1\le i,j\le n\\ i\ne j}}Z_i^3Z_j
+
6\sum_{1\le i< j\le n}Z_i^2Z_j^2\\
&\quad
+
12\sum_{\substack{1\le i,j,k\le n\\ i,j,k\ \mathrm{all\ distinct}\\ j< k}}Z_i^2Z_jZ_k
+
24\sum_{1\le i< j< k<\ell\le n}Z_iZ_jZ_kZ_{\ell}
\end{align}
$$
である。$\mathbb E[Z_i]=0$ と独立性より、展開に現れる項のうち、ある添字が $1$ 乗で現れる項の期待値は $0$ になる。
例えば $i\ne j$ のとき、独立性(
証明はコチラ
)と可積分性より
$$
\mathbb E[Z_i^3Z_j]=\mathbb E[Z_i^3]\mathbb E[Z_j]=0
$$
である。同様に、相異なる $i,j,k$ に対して
$$
\mathbb E[Z_i^2Z_jZ_k]
=
\mathbb E[Z_i^2]\mathbb E[Z_j]\mathbb E[Z_k]
=
0
$$
であり、相異なる $i,j,k,\ell$ に対して
$$
\mathbb E[Z_iZ_jZ_kZ_\ell]=0
$$
である。
ゆえに
$$
\begin{align}
\mathbb E[S_n^4]
&=
\mathbb E\left[
\sum_{i=1}^{n}Z_i^4
+
4\sum_{\substack{1\le i,j\le n\\ i\ne j}}Z_i^3Z_j
+
6\sum_{1\le i< j\le n}Z_i^2Z_j^2
+
12\sum_{\substack{1\le i,j,k\le n\\ i,j,k\ \mathrm{all\ distinct}\\ j< k}}Z_i^2Z_jZ_k
+
24\sum_{1\le i< j< k<\ell\le n}Z_iZ_jZ_kZ_\ell
\right]\\
&=
\sum_{i=1}^{n}\mathbb E[Z_i^4]
+
4\sum_{\substack{1\le i,j\le n\\ i\ne j}}\mathbb E[Z_i^3Z_j]
+
6\sum_{1\le i< j\le n}\mathbb E[Z_i^2Z_j^2]\\
&\quad
+
12\sum_{\substack{1\le i,j,k\le n\\ i,j,k\ \mathrm{all\ distinct}\\ j< k}}\mathbb E[Z_i^2Z_jZ_k]
+
24\sum_{1\le i< j< k<\ell\le n}\mathbb E[Z_iZ_jZ_kZ_\ell]\\
&=
\sum_{i=1}^{n}\mathbb E[Z_i^4]
+
6\sum_{1\le i< j\le n}\mathbb E[Z_i^2Z_j^2]\\
&=
n\mathbb E[Z_1^4]
+
6\sum_{1\le i< j\le n}\mathbb E[Z_i^2]\mathbb E[Z_j^2]\\
&=
nM_4
+
6\binom{n}{2}\mathbb E[Z_1^2]^2\\
&\le
nM_4
+
3n(n-1)M_4\\
&\le
4n^2M_4
\end{align}
$$
である。
大数の弱法則と大数の強法則は、どちらも標本平均
$$
\overline X_n:=\frac{1}{n}\sum_{i=1}^{n}X_i
$$
が母平均 $\mu=\mathbb E[X_1]$ に近づくことを主張する定理である。ただし、両者では「近づく」という意味が異なる。
- 大数の弱法則は、
$$ \overline X_n\xrightarrow{p}\mu $$
を主張する。これは、任意の $\varepsilon>0$ に対して、
$$ \mathbb P\bigl(|\overline X_n-\mu|>\varepsilon\bigr)\to 0 $$
が成り立つという意味である。つまり、$n$ を十分大きくすれば、標本平均が $\mu$ から $\varepsilon$ 以上ずれる確率が小さくなる、という主張である。
$ $ - 一方、大数の強法則は、
$$ \overline X_n\xrightarrow{\mathrm{a.s.}}\mu $$
を主張する。これは、
$$ \mathbb P\left(\left\{\omega\in\Omega\mid \lim_{n\to\infty}\overline X_n(\omega)=\mu\right\}\right)=1 $$
が成り立つという意味である。つまり、確率 $1$ の範囲の各標本点 $\omega$ に対して、実際に数列 $\overline X_n(\omega)$ が $\mu$ に収束する、という主張である。
-したがって、弱法則は「大きな $n$ において、標本平均が母平均から外れる確率が小さい」ことを述べるのに対し、
強法則は「ほとんどすべての試行列において、標本平均そのものが母平均へ収束する」ことを述べる。
一般に、ほとんど確実収束は確率収束を導くので、同じ状況で比較すれば、強法則は弱法則よりも強い主張である。すなわち、
$$
\overline X_n\xrightarrow{\mathrm{a.s.}}\mu
\quad\Longrightarrow\quad
\overline X_n\xrightarrow{p}\mu
$$
が成り立つ。ただし、逆向きは一般には成り立たない。
この記事を高評価した人
この記事に送られたバッジ
投稿者
