文献あり

確率論の言葉で書く標本平均・標本分散・不偏標本分散

241

概要

本稿では，測度論やルベーグ積分に基づく公理的確率論の言葉を用いて，統計学における標本平均と標本分散，不偏標本分散について述べる．従って，読者は公理的確率論の基礎を理解しているものとする．加えて統計学の知識もあることが望ましいが，証明を追うだけであれば無くても問題はない．

以下， $(Ω, F, P)$ を確率空間とする．また，単に確率変数と言ったときは， $(Ω, F)$ 上の実数値確率変数を意味するものとする．さらに， $R$ のBorel集合族，すなわち $R$ の開集合全体を含む最小の $σ$ -加法族を $B (R)$ と書く．

必要最低限の確率論の復習

用語の定義

確率変数の独立性

確率変数 $X, Y$ が独立であるとは，任意の $A, B \in B (R)$ に対して
$P (X \in A, Y \in B) = P (X \in A) P (Y \in B)$
が成り立つことをいう．また，確率変数 $X_{1}, X_{2}, \dots, X_{n}$ が独立であるとは，任意の $A_{1}, A_{2}, \dots, A_{n} \in B (R)$ に対して
$P (X_{1} \in A_{1}, X_{2} \in A_{2}, \dots, X_{n} \in A_{n}) = \prod_{i = 1}^{n} P (X_{i} \in A_{i})$
が成り立つことをいう．

確率変数の分布

$X$ を確率変数とする．任意の $A \in B (R)$ に対して
$P_{X} (A) = P (X \in A)$
を満たす $(R, B (R))$ 上の確率測度 $P_{X}$ を， $X$ の分布という．

確率変数の分布が確率測度であることの証明

定義2において， $P_{X}$ が $(R, B (R))$ 上の確率測度であることを示せ．

確率変数の期待値，分散，共分散

確率変数 $X$ に対して， $E (X) = \int_{Ω} X (ω) P (d ω)$ を $X$ の期待値という．
また， $V (X) = E ({X - E (X)}^{2})$ を $X$ の分散という．
さらに，確率変数 $X, Y$ に対して， $C (X, Y) = E ({X - E (X)} {Y - E (Y)})$ を $X, Y$ の共分散という．

期待値の線形性

積分の線形性により，期待値にも線形性が備わっている．すなわち，確率変数 $X, Y$ と実数 $a, b$ に対して，常に $E (a X + b Y) = a E (X) + b E (Y)$ が成り立つ．

確率変数の可積分性

確率変数 $X$ が $E (| X |) < \infty$ を満たすとき， $X$ は可積分であるという．
また， $X$ が $E (X^{2}) < \infty$ を満たすとき， $X$ は二乗可積分であるという．

分散や共分散が定義される条件

確率変数 $X$ の分散 $V (X)$ の値が定義されるためには， $X$ が二乗可積分であることが必要である．また，確率変数 $X, Y$ の共分散 $C (X, Y)$ の値が定義されるためには， $X, Y$ がともに二乗可積分であることが必要である．以下，これらの値について述べる際には，適切な二乗可積分性が仮定されているものとする．

確率変数 $X$ に対して $V (X) = E (X^{2}) - E (X)^{2}$ であることを示せ．

諸性質とその証明

次の定理は，期待値すなわちルベーグ積分の定義に戻ることで証明できるが，冗長になるためここでは割愛する．

独立な可積分確率変数の積の期待値

独立な可積分確率変数 $X_{1}, X_{2}, \dots, X_{n}$ に対して $E (\prod_{i = 1}^{n} X_{i}) = \prod_{i = 1}^{n} E (X_{i})$ が成り立つ．

例えば，舟木直久『確率論』（朝倉書店，2004）補題3.17を参照せよ．

分散の非線形性1

確率変数 $X$ および実数 $a, b$ に対して $V (a X + b) = a^{2} V (X)$ が成り立つ．

分散の定義および期待値の線形性に注意して計算すると，
$\begin{aligned} V (a X + b) & = E ({(a X + b) - E (a X + b)}^{2}) \\ = E ({a X + b - (a E (X) + b)}^{2}) \\ = E ({a (X - E (X))}^{2}) \\ = a^{2} E ({X - E (X)}^{2}) \\ = a^{2} V (X) \end{aligned}$
となる．

分散の非線形性2

確率変数 $X, Y$ に対して $V (X + Y) = V (X) + V (Y) + 2 C (X, Y)$ が成り立つ．

分散の定義および期待値の線形性に注意して計算すると，
$\begin{aligned} V (X + Y) & = E ({(X + Y) - E (X + Y)}^{2}) \\ = E ({(X - E (X)) + (Y - E (Y))}^{2}) \\ = E ({X - E (X)}^{2} + 2 {X - E (X)} {Y - E (Y)} + {Y - E (Y)}^{2}) \\ = E ({X - E (X)}^{2}) + 2 E ({X - E (X)} {Y - E (Y)}) + E ({Y - E (Y)}^{2}) \\ = V (X) + 2 C (X, Y) + V (Y) \end{aligned}$
となる．

確率変数の独立性と共分散

独立な確率変数 $X, Y$ に対して $C (X, Y) = 0$ が成り立つ．

共分散の定義および期待値の線形性に注意して計算すると，
$\begin{aligned} C (X, Y) & = E ({X - E (X)} {Y - E (Y)}) \\ = E (X Y - X \cdot E (Y) - Y \cdot E (X) + E (X) E (Y)) \\ = E (X Y) - E (Y) E (X) - E (X) E (Y) + E (X) E (Y) \\ = E (X Y) - E (X) E (Y) \end{aligned}$
となる．ここで， $X, Y$ は独立ゆえ，定理1より $E (X Y) = E (X) E (Y)$ である．従って， $C (X, Y) = 0$ が成り立つ．

独立な確率変数の分散の線形性

独立な確率変数 $X, Y$ に対して $V (X + Y) = V (X) + V (Y)$ が成り立つ．

命題3と命題4から従う．

命題5の拡張

独立な確率変数 $X_{1}, X_{2}, \dots, X_{n}$ に対して $V (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} V (X_{i})$ が成り立つことを示せ．

標本平均・標本分散・不偏標本分散

無作為標本と独立同分布性

母集団の統計的推測を行うためには，標本が無作為に選ばれている必要がある．無作為に選ばれた標本，すなわち無作為標本は，数学的には独立同分布な確率変数列として定義される．以下，標本 $X$ と言ったとき， $X$ は確率変数である．

無作為標本

標本 $X_{1}, X_{2}, \dots, X_{n}$ が互いに独立かつ同一の分布 $F$ に従うとき， $X_{1}, X_{2}, \dots, X_{n}$ を母集団分布 $F$ から抽出された大きさ $n$ の無作為標本という．

標本平均・標本分散・不偏標本分散

標本平均と標本分散

標本 $X_{1}, X_{2}, \dots, X_{n}$ に対して， $\overset{―}{X} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}$ を標本平均という．
また， $S^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2}$ を標本分散という．

標本平均，標本分散の定義は，データの平均，分散の求め方を考えればごく自然である．しかし，分散については，次に定義する不偏標本分散を用いることが多い．その理由は次節で明らかになる．

不偏標本分散

標本 $X_{1}, X_{2}, \dots, X_{n}$ に対して， $s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2}$ を不偏標本分散という．

標本分散と不偏標本分散の違い

標本分散と不偏標本分散の違いは，偏差の平方和を $n$ で割るか $n - 1$ で割るかだけである．よって，標本 $X_{1}, X_{2}, \dots, X_{n}$ の標本分散，不偏標本分散をそれぞれ $S^{2}, s^{2}$ とすると， $s^{2} = \frac{n}{n - 1} S^{2}$ が成り立つ．

不偏推定量

標本平均や標本分散，不偏標本分散のように，標本の関数 $T (X_{1}, X_{2}, \dots, X_{n})$ として表されるものを統計量という．統計学では，これらの統計量を用いて，母平均や母分散といったパラメータを推定する．このように，推定に用いられる統計量を推定量という．

不偏推定量

パラメータ $θ$ の推定量 $X$ が $E (X) = θ$ を満たすとき， $X$ を $θ$ の不偏推定量という．

母平均と母分散の不偏推定量

$X_{1}, X_{2}, \dots, X_{n}$ を，母平均 $μ$ ，母分散 $σ^{2}$ を持つ分布から抽出された大きさ $n$ の無作為標本とする．このとき，標本平均 $\overset{―}{X}$ ，不偏標本分散 $s^{2}$ は，それぞれ母平均 $μ$ ，母分散 $σ^{2}$ の不偏推定量である．

標本平均の期待値は，期待値の線形性より
$E (\overset{―}{X}) = E (\frac{1}{n} \sum_{i = 1}^{n} X_{i}) = \frac{1}{n} \sum_{i = 1}^{n} E (X_{i}) = \frac{1}{n} \cdot n μ = μ$
となる．従って，標本平均 $\overset{―}{X}$ は母平均 $μ$ の不偏推定量である．一方，不偏標本分散の期待値は，
$E (s^{2}) = E (\frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2}) = \frac{1}{n - 1} E (\sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2})$
となる．ここで， $\overset{―}{X} - μ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)$ に注意すると
$\begin{aligned} \sum_{i = 1}^{n} (X_{i} - \overset{―}{X})^{2} & = \sum_{i = 1}^{n} {(X_{i} - μ) - (\overset{―}{X} - μ)}^{2} \\ = \sum_{i = 1}^{n} {(X_{i} - μ)^{2} - 2 (X_{i} - μ) (\overset{―}{X} - μ) + (\overset{―}{X} - μ)^{2}} \\ = \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 (\overset{―}{X} - μ) \sum_{i = 1}^{n} (X_{i} - μ) + n (\overset{―}{X} - μ)^{2} \\ = \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 n (\overset{―}{X} - μ)^{2} + n (\overset{―}{X} - μ)^{2} \\ = \sum_{i = 1}^{n} (X_{i} - μ)^{2} - n (\overset{―}{X} - μ)^{2} \end{aligned}$
である．さらに，問題2および命題2，問題3より
$\begin{aligned} E ((X_{i} - μ)^{2}) & = E ((X_{i} - μ)^{2}) - E (X_{i} - μ)^{2} \\ = V (X_{i} - μ) \\ = V (X_{i}) \\ = σ^{2} ， \\ E ((\overset{―}{X} - μ)^{2}) & = E ((\overset{―}{X} - μ)^{2}) - E (\overset{―}{X} - μ)^{2} \\ = V (\overset{―}{X} - μ) \\ = V (\overset{―}{X}) \\ = V (\frac{1}{n} \sum_{i = 1}^{n} X_{i}) \\ = \frac{1}{n^{2}} V (\sum_{i = 1}^{n} X_{i}) \\ = \frac{1}{n^{2}} \sum_{i = 1}^{n} V (X_{i}) \\ = \frac{1}{n^{2}} \cdot n σ^{2} \\ = \frac{σ^{2}}{n} \end{aligned}$
と計算できる．ゆえに
$E (s^{2}) = \frac{1}{n - 1} (n σ^{2} - n \cdot \frac{σ^{2}}{n}) = \frac{1}{n - 1} \cdot (n - 1) σ^{2} = σ^{2}$
となる．従って，不偏標本分散 $s^{2}$ は母分散 $σ^{2}$ の不偏推定量である．

不偏標本分散が用いられる理由

注意（標本分散と不偏標本分散の違い）と定理6より，母平均 $μ$ ，母分散 $σ^{2}$ を持つ分布から抽出された大きさ $n$ の無作為標本 $X_{1}, X_{2}, \dots, X_{n}$ に対し，その標本分散を $S^{2}$ とすると，
$E (S^{2}) = E (\frac{n - 1}{n} s^{2}) = \frac{n - 1}{n} E (s^{2}) = \frac{n - 1}{n} σ^{2}$
となる．すなわち，標本分散は母分散の不偏推定量ではない．

問題の解答

問題1

$X$ は実数値確率変数であるから， $P_{X} (\emptyset) = P (X \in \emptyset) = 0$ および $P_{X} (R) = P (X \in R) = 1$ が成り立つ．
$A_{n} \in B (R)$ （ $n = 1, 2, \dots$ ）が互いに素，すなわち相異なる $i, j \in {1, 2, \dots}$ に対して $A_{i} \cap A_{j} = \emptyset$ を満たすとき，相異なる $i, j \in {1, 2, \dots}$ に対して ${X \in A_{i}} \cap {X \in A_{j}} = \emptyset$ が成り立つから，確率測度 $P$ の $σ$ -加法性により
$P_{X} (⋃_{n = 1}^{\infty} A_{n}) = P (⋃_{n = 1}^{\infty} {X \in A_{n}}) = \sum_{n = 1}^{\infty} P (X \in A_{n}) = \sum_{n = 1}^{\infty} P_{X} (A_{n})$
となる．

以上より， $P_{X}$ は $(R, B (R))$ 上の確率測度である．

問題2

分散の定義および期待値の線形性に注意して計算すると，
$\begin{aligned} V (X) & = E ({X - E (X)}^{2}) \\ = E (X^{2} - 2 X E (X) + E (X)^{2}) \\ = E (X^{2}) - 2 E (X) E (X) + E (X)^{2} \\ = E (X^{2}) - E (X)^{2} \end{aligned}$
となる．

問題3

分散の定義および期待値の線形性に注意して計算すると，
$\begin{aligned} V (\sum_{i = 1}^{n} X_{i}) & = E ({\sum_{i = 1}^{n} X_{i} - E (\sum_{i = 1}^{n} X_{i})}^{2}) \\ = E ({\sum_{i = 1}^{n} {X_{i} - E (X_{i})}}^{2}) \\ = E (\sum_{i = 1}^{n} {X_{i} - E (X_{i})}^{2} + 2 \sum_{1 \leq i < j \leq n} {X_{i} - E (X_{i})} {X_{j} - E (X_{j})}) \\ = \sum_{i = 1}^{n} E ({X_{i} - E (X_{i})}^{2}) + 2 \sum_{1 \leq i < j \leq n} E ({X_{i} - E (X_{i})} {X_{j} - E (X_{j})}) \\ = \sum_{i = 1}^{n} V (X_{i}) + 2 \sum_{1 \leq i < j \leq n} C (X_{i}, X_{j}) \end{aligned}$
となる．ここで， $X_{1}, X_{2}, \dots, X_{n}$ は独立ゆえ，命題4より，相異なる $i, j \in {1, 2, \dots, n}$ に対して $C (X_{i}, X_{j}) = 0$ である．従って，上式最後の第2項は $0$ となるから $V (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} V (X_{i})$ を得る．