不偏分散が不偏推定量であることの説明

概要

標本分散は，偏差の平方和を標本数$n$で割った値です．一方，不偏分散は，偏差の平方和を$n - 1$で割った値です．この記事では，不偏分散が母分散の不偏推定量であることを証明します．

標本平均と標本分散の定義と性質

標本$ X_1, X_2, \ldots, X_n $の標本平均$\overline{X}$は$$ \displaystyle \overline{X} = \frac1n \sum_{i = 1}^n X_i $$で定義されます．また$\overline{f(X)}$と書いて$f(X_1), f(X_2), \ldots, f(X_n)$の平均$\displaystyle \frac1n\sum_{i = 1}^n f(X_i)$を表し，特に$\overline{X^2}$は$\displaystyle \frac1n \sum_{i = 1}^n X_i^2$のことです．

$X_1, X_2, \ldots, X_n$の標本分散$S^2$は$$ \displaystyle S^2 = \frac1n \sum_{i = 1}^n \left(X_i - \overline{X}\right)^2 $$で定義されます．このとき次の定理が成り立ちます．

一方，$X_1, X_2, \ldots, X_n$の不偏分散$s^2$は$$ \displaystyle s^2 = \frac1{n - 1} \sum_{i = 1}^n \left(X_i - \overline{X}\right)^2$$で定義されます．すなわち$\displaystyle s^2 = \frac{n}{n - 1}S^2$です．

期待値と分散に関する公式

期待値と分散の定義と性質は， この記事 に詳しく書かれています．このうち，今回特に重要なのが$$ \displaystyle \var{X} = \ex{X^2} - \mathrm{E}[X]^2 $$という式です．これは変形すると$$ \displaystyle \ex{X^2} = \var{X} + \mathrm{E}[X]^2 $$となり，$X^2$の期待値を求めるのに使えます．

不偏分散の不偏性

$n$個の確率変数$X_1, X_2, \ldots, X_n$について，次のような仮定をおきます．

• 期待値が全て等しい：$\ex{X_i} = \mu \quad (\forall i,\ 1 \leq i \leq n)$
• 分散が全て等しい：$\var{X_i} = \sigma^2 \quad (\forall i,\ 1 \leq i \leq n)$
• どの異なる2つも無相関：$ \cov{X_i, X_j} = 0 \quad (\forall (i, j),\ 1\leq i< j\leq n)$

このとき，$\overline{X}$の期待値と分散は次のように計算できます．
$$ \displaystyle \begin{align} \ex{\overline{X}}&= \ex{\frac1n\sum_{i = 1}^nX_i} \\ &= \frac1n\sum_{i = 1}^n\ex{X_i} \\ &= \frac1n\cdot n\mu\\ &= \mu. \end{align}$$ $$ \displaystyle \begin{align} \var{\overline{X}} &= \var{\frac1n\sum_{i = 1}^nX_i} \\ &= \frac1{n^2}\var{\sum_{i = 1}^nX_i} \\ &= \frac1{n^2}\sum_{i = 1}^n\var{X_i} \\ &= \frac1{n^2} \cdot n\sigma^2 \\ &= \frac{\sigma^2}{n}. \end{align}$$
よって，$\left(\overline{X}\right)^2$の期待値$\ex{\left(\overline{X}\right)^2}$は$$\begin{align} \ex{\left(\overline{X}\right)^2} &= \var{\overline{X}} + \ex{\overline{X}}^2\\ &= \frac{\sigma^2}{n} + \mu^2 \end{align}$$となります．

一方，$i = 1, 2, \ldots, n$について$X_i^2$の期待値は$$ \displaystyle \begin{align} \ex{X_i^2} &= \var{X_i} + \mathrm{E}[X_i]^2\\ &= \sigma^2 + \mu^2 \end{align}$$なので，$\overline{X^2}$の期待値$\ex{\overline{X^2}}$は$$ \displaystyle \begin{align} \ex{\overline{X^2}} &= \ex{\frac1n\sum_{i = 1}^n X_i^2} \\ &= \frac1n\sum_{i = 1}^n \ex{X_i^2} \\ &= \frac1n\cdot n\left(\sigma^2 + \mu^2\right) \\ &= \sigma^2 + \mu^2 \end{align}$$となります．

これらを用いると，次の定理が得られます：

以上より，不偏分散が不偏推定量であることが証明できました．