3

不偏分散が不偏推定量であることの説明

865
0
$$\newcommand{cov}[1]{\mathrm{Cov}\!\left(#1\right)} \newcommand{dd}[0]{\mathrm{d}} \newcommand{ex}[1]{\mathrm{E}\!\left[#1\right]} \newcommand{var}[1]{\mathrm{V}\!\left[#1\right]} $$

概要

標本分散は,偏差の平方和を標本数$n$で割った値です.一方,不偏分散は,偏差の平方和を$n - 1$で割った値です.この記事では,不偏分散が母分散の不偏推定量であることを証明します.

標本平均と標本分散の定義と性質

標本$ X_1, X_2, \ldots, X_n $の標本平均$\overline{X}$$$ \displaystyle \overline{X} = \frac1n \sum_{i = 1}^n X_i $$で定義されます.また$\overline{f(X)}$と書いて$f(X_1), f(X_2), \ldots, f(X_n)$の平均$\displaystyle \frac1n\sum_{i = 1}^n f(X_i)$を表し,特に$\overline{X^2}$$\displaystyle \frac1n \sum_{i = 1}^n X_i^2$のことです.

$X_1, X_2, \ldots, X_n$の標本分散$S^2$$$ \displaystyle S^2 = \frac1n \sum_{i = 1}^n \left(X_i - \overline{X}\right)^2 $$で定義されます.このとき次の定理が成り立ちます.

$$ \displaystyle S^2 = \overline{X^2} - \left(\overline{X}\right)^2 $$が成り立つ.

$$ \displaystyle \begin{align} S^2 &= \frac1n \sum_{i = 1}^n \left(X_i - \overline{X}\right)^2 \\ &= \frac1n \sum_{i = 1}^n \left(X_i^2 - 2X_i\overline{X} + \left(\overline{X}\right)^2 \right) \\ &= \frac1n \sum_{i = 1}^n X_i^2 - \frac1n \cdot 2 \overline{X} \sum_{i = 1}^n X_i + \frac1n \cdot n\left(\overline{X}\right)^2 \\ &= \overline{X^2} - 2\left(\overline{X}\right)^2 + \left(\overline{X}\right)^2 \\ &= \text{(RHS)} \end{align}$$

一方,$X_1, X_2, \ldots, X_n$の不偏分散$s^2$$$ \displaystyle s^2 = \frac1{n - 1} \sum_{i = 1}^n \left(X_i - \overline{X}\right)^2$$で定義されます.すなわち$\displaystyle s^2 = \frac{n}{n - 1}S^2$です.

期待値と分散に関する公式

期待値と分散の定義と性質は, この記事 に詳しく書かれています.このうち,今回特に重要なのが$$ \displaystyle \var{X} = \ex{X^2} - \mathrm{E}[X]^2 $$という式です.これは変形すると$$ \displaystyle \ex{X^2} = \var{X} + \mathrm{E}[X]^2 $$となり,$X^2$の期待値を求めるのに使えます.

不偏分散の不偏性

$n$個の確率変数$X_1, X_2, \ldots, X_n$について,次のような仮定をおきます.

  • 期待値が全て等しい:$\ex{X_i} = \mu \quad (\forall i,\ 1 \leq i \leq n)$
  • 分散が全て等しい:$\var{X_i} = \sigma^2 \quad (\forall i,\ 1 \leq i \leq n)$
  • どの異なる2つも無相関:$ \cov{X_i, X_j} = 0 \quad (\forall (i, j),\ 1\leq i< j\leq n)$

このとき,$\overline{X}$の期待値と分散は次のように計算できます.
$$ \displaystyle \begin{align} \ex{\overline{X}}&= \ex{\frac1n\sum_{i = 1}^nX_i} \\ &= \frac1n\sum_{i = 1}^n\ex{X_i} \\ &= \frac1n\cdot n\mu\\ &= \mu. \end{align}$$ $$ \displaystyle \begin{align} \var{\overline{X}} &= \var{\frac1n\sum_{i = 1}^nX_i} \\ &= \frac1{n^2}\var{\sum_{i = 1}^nX_i} \\ &= \frac1{n^2}\sum_{i = 1}^n\var{X_i} \\ &= \frac1{n^2} \cdot n\sigma^2 \\ &= \frac{\sigma^2}{n}. \end{align}$$
よって,$\left(\overline{X}\right)^2$の期待値$\ex{\left(\overline{X}\right)^2}$$$\begin{align} \ex{\left(\overline{X}\right)^2} &= \var{\overline{X}} + \ex{\overline{X}}^2\\ &= \frac{\sigma^2}{n} + \mu^2 \end{align}$$となります.

一方,$i = 1, 2, \ldots, n$について$X_i^2$の期待値は$$ \displaystyle \begin{align} \ex{X_i^2} &= \var{X_i} + \mathrm{E}[X_i]^2\\ &= \sigma^2 + \mu^2 \end{align}$$なので,$\overline{X^2}$の期待値$\ex{\overline{X^2}}$$$ \displaystyle \begin{align} \ex{\overline{X^2}} &= \ex{\frac1n\sum_{i = 1}^n X_i^2} \\ &= \frac1n\sum_{i = 1}^n \ex{X_i^2} \\ &= \frac1n\cdot n\left(\sigma^2 + \mu^2\right) \\ &= \sigma^2 + \mu^2 \end{align}$$となります.

これらを用いると,次の定理が得られます:

不偏分散の不偏性

$X_1, X_2, \ldots, X_n$の不偏分散$s^2$について,$$ \displaystyle \ex{s^2} = \sigma^2 $$が成り立つ.

$$ \displaystyle \begin{align} s^2 &= \frac{n}{n - 1}S^2 \\ &= \frac{n}{n - 1}\left(\overline{X^2} - \left(\overline{X}\right)^2\right) \end{align}$$であるから,$$ \displaystyle \begin{align} \ex{s^2} &= \frac{n}{n - 1}\left(\ex{\overline{X^2}} - \ex{\left(\overline{X}\right)^2}\right) \\ &= \frac{n}{n - 1}\left(\sigma^2 + \mu^2 - \left(\frac{\sigma^2}{n} + \mu^2\right)\right) \\ &= \frac{n}{n - 1}\left(1 - \frac1n\right)\sigma^2 \\ &= \sigma^2 \end{align}$$

以上より,不偏分散が不偏推定量であることが証明できました.

投稿日:20201110

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。

投稿者

とが
とが
12
3968
中学 n 年生 (n > 3) です.主にプログラミング方面をやっていますが数学にも興味があります

コメント

他の人のコメント

コメントはありません。
読み込み中...
読み込み中