サンプルサイズを大きくすれば標本分散(不偏分散)は母分散に確率収束する

$X_1,\dots,X_n$が独立同分布で$\mathbb E[X_1^2]<\infty$を満たすとき、$S_n^2$は母分散$\mathbb V(X_1)$の不偏推定量である。
すなわち、
$$ \mathbb E[S_n^2]=\mathbb V(X_1) $$
が成り立つ。この意味で$S_n^2$を不偏分散と呼ぶ。

$\forall x\in \mathbb{R}:x^2\ge 0 $より、任意の実数 $a,b$ について
$$ (a-b)^2\ge0 $$
が成り立つ。これを展開すると
$$ a^2-2ab+b^2\ge0 $$
である。従って
$$ 2ab\le a^2+b^2 $$
が得られる。ここで
$$ (a+b)^2=a^2+2ab+b^2 $$
であるから、上の不等式 $2ab\le a^2+b^2$ を用いて
$$ (a+b)^2=a^2+2ab+b^2\le a^2+(a^2+b^2)+b^2=2a^2+2b^2 $$
となる。
$$ \Box$$

$X_1,X_2,\dots$ を独立同分布な確率変数列とし、$\mathbb E[X_1]=\mu<\infty$ かつ $\mathbb V(X_1)<\infty$ が成り立つとする。
このとき
$$ \overline X_n=\frac1n\sum_{i=1}^nX_i $$
で定義される量において、
$$ \overline X_n\xrightarrow{p}\mu\qquad(n\to\infty) $$
が成り立つ(大数の弱法則)。すなわち、任意の$\varepsilon>0$に対して
$$ \lim_{n\to\infty}\mathbb P\bigl(|\overline X_n-\mu|>\varepsilon\bigr)=0 $$
が成り立つ。実際、確率変数 $Z$ が $\mathbb E[Z]$ と $\mathbb V(Z)$（分散）が有限なら、任意の $\varepsilon>0$ について
$$ \mathbb P\bigl(|Z-\mathbb E[Z]|\ge \varepsilon\bigr)\le \frac{\mathbb V(Z)}{\varepsilon^2} $$
が成り立つ。これは $\text{Chebyshev}$の不等式として知られているものである。
ここで、命題の条件

1. $X_1,X_2,\dots$ は独立同分布である。
2. $\mathbb E[X_1]=\mu$ が成り立つ。
3. $\mathbb V(X_1)=\sigma^2<\infty$ が成り立つ。

-を仮定すると、期待値の線形性より
$$ \mathbb E[\overline X_n] =\mathbb E\Bigl[\frac1n\sum_{i=1}^n X_i\Bigr] =\frac1n\sum_{i=1}^n \mathbb E[X_i] =\frac1n\cdot n\mu =\mu $$
分散についても
$$ \mathbb V(\overline X_n) =\mathbb V\Bigl(\frac1n\sum_{i=1}^n X_i\Bigr) =\frac1{n^2}\mathbb V\Bigl(\sum_{i=1}^n X_i\Bigr) $$
ここで、独立性より分散は加法的であるから
$$ \mathbb V\Bigl(\sum_{i=1}^n X_i\Bigr) =\sum_{i=1}^n \mathbb V(X_i) =n\sigma^2 $$
従って
$$ \mathbb V(\overline X_n) =\frac1{n^2}\cdot n\sigma^2 =\frac{\sigma^2}{n} $$
先ほどの$\text{Chebyshev}$の不等式に $Z=\overline X_n$ を代入すると、任意の $\varepsilon>0$ に対して
$$ \mathbb P\bigl(|\overline X_n-\mathbb E[\overline X_n]|\ge \varepsilon\bigr) \le \frac{\mathbb V(\overline X_n)}{\varepsilon^2} =\frac{\sigma^2/n}{\varepsilon^2} =\frac{\sigma^2}{n\varepsilon^2} $$
ここで $\mathbb E[\overline X_n]=\mu$ であるから
$$ \mathbb P\bigl(|\overline X_n-\mu|\ge \varepsilon\bigr) \le \frac{\sigma^2}{n\varepsilon^2} \xrightarrow[n\to\infty]{}0 $$
が従う。これはすなわち
$$ \lim_{n\to\infty}\mathbb P\bigl(|\overline X_n-\mu|>\varepsilon\bigr)=0 \qquad(\forall \varepsilon>0) $$
であり(確率収束)、したがって
$$ \overline X_n\xrightarrow{p}\mu $$
が成り立つ。
$$ \Box$$

より一般に、独立同分布な確率変数列$X_1,X_2,\dots$ に (ボレル)可測な関数$g:\mathbb{R} \rightarrow \mathbb{R}$ を作用させた
確率変数列 $g(X_1),g(X_2),\dots,g(X_n)$ も独立同分布になる。
$ $
実際、独立性を示すため、任意の$k\in\mathbb N$と任意のボレル集合$B_1,\dots,B_k\in\mathcal B(\mathbb R)$をとる。
$g$が可測であるから各$i$について$g^{-1}(B_i)\in\mathcal B(\mathbb R)$である。
このとき
$$ \{g(X_i)\in B_i\}=\{X_i\in g^{-1}(B_i)\} $$
が成り立つので、$X_1,\dots,X_k$の独立性より
$$ \begin{align} \mathbb P\Bigl(\bigcap_{i=1}^k\{g(X_i)\in B_i\}\Bigr) &=\mathbb P\Bigl(\bigcap_{i=1}^k\{X_i\in g^{-1}(B_i)\}\Bigr)\\ &=\prod_{i=1}^k\mathbb P\bigl(X_i\in g^{-1}(B_i)\bigr)\\ &=\prod_{i=1}^k\mathbb P\bigl(g(X_i)\in B_i\bigr) \end{align} $$
従って$g(X_1),\dots,g(X_k)$は独立である。$k$が任意であるから$g(X_1),g(X_2),\dots$は互いに独立である。
次に同分布性を示す。任意のボレル集合$B\in\mathcal B(\mathbb R)$について
$$ \mathbb P(g(X_i)\in B)=\mathbb P(X_i\in g^{-1}(B)) $$
が成り立つ。$X_i$は同分布であるから右辺は$i$によらず一定であり、従って左辺も$i$によらず一定である。
よって$g(X_i)$は同分布である。
$$ \Box$$

確率変数列$X_n$と確率変数$X$が
$$ X_n\xrightarrow{p}X\qquad(n\to\infty) $$
を満たし、関数$g:\mathbb R\to\mathbb R$が$\mathbb R$上連続であるとする。このとき
$$ X_n\xrightarrow{p}X\Rightarrow g(X_n)\xrightarrow{p}g(X) $$
が成り立つ。
$ $
今回の場合、$g(x)=x^2$とおき、$X_n:=\overline X_n$、$X:=\mu$とすると、$x\mapsto x^2$は$\mathbb R$上連続であるから
$$ \overline X_n\xrightarrow{p}\mu\Rightarrow \overline X_n^2\xrightarrow{p}\mu^2 $$
が得られる。

確率変数列$X_n,Y_n$と定数$a,b\in\mathbb R$が
$$ X_n\xrightarrow{p}a,\qquad Y_n\xrightarrow{p}b $$
を満たすとする。このとき
$$ X_n+Y_n\xrightarrow{p}a+b,\qquad X_nY_n\xrightarrow{p}ab $$
が成り立つ。さらに$b\ne0$ならば
$$ \frac{X_n}{Y_n}\xrightarrow{p}\frac{a}{b} $$
が成り立つ。

一般によく知られている結果として、独立同分布な確率変数列 $X_1,X_2,\dots$ が
$$ \mathbb V(X_1)=\sigma^2<\infty $$
を満たせば、不偏分散 $S_n^2$ は
$$ S_n^2\xrightarrow{p}\sigma^2 \qquad(n\to\infty) $$
を満たす。すなわち、標本分散が母分散に確率収束するためには、$X_1$ の分散が有限であることだけで十分である。
$ $
一方で、本証明で紹介したWLLNは
$$ \frac1n\sum_{i=1}^n X_i^2\xrightarrow{p}\mathbb E[X_1^2] $$
であることを $\text{Chebyshev}$の不等式を用いて示した。
このとき $\text{Chebyshev}$の不等式を適用するためには、確率変数 $X_1^2$ 自身の分散
$$ \mathbb V(X_1^2) $$
が有限であることが必要になる。そのため、今回の仮定
$$ \mathbb V(X_1^2)<\infty $$
は、結論 $S_n^2\xrightarrow{p}\sigma^2$ を得るだけを目的とするなら(本当は)強すぎるが、
$X_i^2$ の平均の収束も $\text{Chebyshev}$の不等式によって同じ枠組みで証明する、という目的に照らせば自然な仮定である。
$ $
しかしながら、証明の中で$\mathbb E[X_1^2]<\infty$である事を結果的に示したとは言うものの、
命題の仮定 $\mathbb V(X_1^2)<\infty$ より 暗に$\mathbb E[X_1^2]<\infty$ を仮定している点に注意が必要である。