文献あり

M-推定量の一致性について

はじめに

本記事はM-推定量の一致性に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.

M-推定

${X_{i}}_{i \in N}$ を確率空間 $(Ω, F, P)$ 上に定義された $X$ -値確率変数列とします. また, $Θ$ を未知パラメータの空間とし, パラメータの真値 $θ_{0}$ の推定を考えます.

${Q_{n}}_{n \in N}$ を $X^{n} \times Θ$ 上の実数値関数列とします. $X_{1}, \dots, X_{n}$ を $n$ 個の観測とするとき, ${\hat{θ}}_{n} : Ω \to Θ$ が $θ_{0}$ のM-推定量であるとは, それが
$\begin{array}{r} {\hat{θ}}_{n} (ω) = \underset{θ \in Θ}{argmax} Q_{n} (X_{1} (ω), \dots, X_{n} (ω), θ), ω \in Ω \end{array}$
を満たす $F / B (R)$ -可測写像であるときに言います.

M-推定の"M"は"Maximum likelihood like"を意味し, その名の通りM-推定は最尤推定の一般化です. M-推定を念頭に置く際, ${Q_{n}}$ は真値 $θ_{0}$ を唯一の最小点に持つ関数 $Q_{0} : Θ \to R$ に (各点で) 確率収束する量であり, この意味で $Q_{n}$ の最大点 ${\hat{θ}}_{n}$ は真値 $θ_{0}$ に十分近いと考えるのがM-推定の思想です. $Q_{n}, Q_{0}$ はそれぞれ最尤推定の枠組みにおける対数尤度, 期待対数尤度に相当します.

本記事では, M-推定量 ${\hat{θ}}_{n}$ の一致性を証明します.

M-推定量の一致性

記法

位相空間 $X$ に対して $B (X)$ は $X$ のBorel集合族を表す.
$\to^{p}$ は確率変数列の確率収束を表す.
a.s.はalmost surely (ほとんど確実に, 確率1での意) の略.

設定

$(Ω, F, P)$ は確率空間.
${X_{i}}_{i \in N}$ は $(Ω, F, P)$ 上に定義された $X$ -値確率変数列.
$Θ$ は $R^{p}$ の部分集合 (パラメータ空間).
$θ_{0} \in Θ$ はパラメータの真値.
${Q_{n}}_{n \in N}$ は $X^{n} \times Θ$ 上の実数値関数列.
$Q_{0}$ は $Θ$ 上の実数値関数.

次の命題は大前提となるM-推定量 ${\hat{θ}}_{n}$ の存在を保証するのに必要です.

可測選択定理 (Jennrich[1], Lemma 2)

$Q$ を $Ω \times Θ$ 上の実数値関数とする. 次の3つの条件を仮定する.

各 $θ \in Θ$ に対して $Ω ∋ ω \mapsto Q (ω, θ) \in R$ は $F / B (R)$ -可測.
各 $ω \in Ω$ に対して $Θ ∋ θ \mapsto Q (ω, θ) \in R$ は連続.
$Θ$ は $R^{p}$ のコンパクト部分集合.

このとき, $F / B (Θ)$ -可測写像 $\hat{θ} : Ω \to Θ$ が存在して, 任意の $ω \in Ω$ に対して,
$\begin{array}{r} Q (ω, \hat{θ} (ω)) = max_{θ \in Θ} Q (ω, θ) \end{array}$
が成り立つ.

命題1の証明は記事「 M-推定量の可測性について」を参照してください.

一致性定理

次の5つの条件を仮定する.

各 $n \in N$ について, 任意に $θ \in Θ$ を固定するとき, $Ω ∋ ω \mapsto Q_{n} (X_{1} (ω), \dots, X_{n} (ω), θ) \in R$ は $F / B (R)$ -可測.
各 $n \in N$ について, 任意に $ω \in Ω$ を固定するとき, $Θ ∋ θ \mapsto Q_{n} (X_{1} (ω), \dots, X_{n} (ω), θ) \in R$ は連続.
$Θ$ はコンパクト.
任意の $ε > 0$ に対して $sup_{θ : ∥ θ - θ_{0} ∥ \geq ε} Q_{0} (θ) < Q_{0} (θ_{0})$ .
$sup_{θ \in Θ} | Q_{n} (X_{1}, \dots, X_{n}, θ) - Q_{0} (θ) | \to^{p} 0$ .

このとき, 次の3つが成り立つ.

各 $n \in N$ について, 任意の固定された $ω \in Ω$ に対して
$\begin{array}{r} Q_{n} (X_{1} (ω), \dots, X_{n} (ω), {\hat{θ}}_{n} (ω)) = max_{θ \in Θ} Q_{n} (X_{1} (ω), \dots, X_{n} (ω), θ) \end{array}$
を満たすような $F / B (Θ)$ -可測写像 ${\hat{θ}}_{n} : Ω \to Θ$ が存在する.
$Q_{0} : Θ \to R$ は連続.
M-推定量 ${\hat{θ}}_{n}$ は一致性を持つ. すなわち, ${\hat{θ}}_{n} \to^{p} θ_{0}$ が成り立つ.

(iii)の証明はvan der Vaart[3]のTheorem 5.7を参考にしています.

【(i)の証明】

仮定[1] - [3]より命題1 (可測選択定理) が適用できて, (i)が成り立つ.

【(ii)の証明】

任意に $ε > 0$ を十分小さく固定する. 仮定[5]より ${Q_{n}}$ の部分列 ${Q_{n^{'}}}$ が存在して, ある $N (ε) \in N$ に対して $n^{'} \geq N (ε)$ ならば,
$\begin{array}{r} sup_{θ \in Θ} | Q_{n^{'}} (X_{1}, \dots, X_{n^{'}}, θ) - Q_{0} (θ) | < \frac{ε}{4} a.s. \end{array}$
が成り立つ (例えば, 吉田[4]の命題1.47). このときの $P$ -零集合を $N$ とし, $ω_{0} \in Ω ∖ N$ とする. 任意に $θ \in Θ$ と $n^{'} \geq N (ε)$ を固定するとき, 仮定[2]より十分小さい $δ (ε) > 0$ が存在して, $∥ \tilde{θ} - θ ∥ < δ (ε)$ ならば,
$\begin{aligned} | Q_{0} (\tilde{θ}) - Q_{0} (θ) | & \leq | Q_{0} (\tilde{θ}) - Q_{n^{'}} (X_{1} (ω_{0}), \dots, X_{n^{'}} (ω_{0}), \tilde{θ}) | \\ + | Q_{n^{'}} (X_{1} (ω_{0}), \dots, X_{n^{'}} (ω_{0}), \tilde{θ}) - Q_{n^{'}} (X_{1} (ω_{0}), \dots, X_{n^{'}} (ω_{0}), θ) | \\ + | Q_{n^{'}} (X_{1} (ω_{0}), \dots, X_{n^{'}} (ω_{0}), θ) - Q_{0} (θ) | \\ \leq 2 sup_{θ \in Θ} | Q_{n^{'}} (X_{1} (ω_{0}), \dots, X_{n^{'}} (ω_{0}), θ) - Q_{0} (θ) | \\ + | Q_{n^{'}} (X_{1} (ω_{0}), \dots, X_{n^{'}} (ω_{0}), \tilde{θ}) - Q_{n^{'}} (X_{1} (ω_{0}), \dots, X_{n^{'}} (ω_{0}), θ) | \\ < 2 \cdot \frac{ε}{4} + \frac{ε}{2} = ε \end{aligned}$
となる. すなわち, $Q_{0} : Θ \to R$ は連続である.

【(iii)の証明】

(i)と仮定[5]より
$\begin{aligned} Q_{0} (θ_{0}) - Q_{0} ({\hat{θ}}_{n}) & = Q_{n} (X_{1}, \dots, X_{n}, θ_{0}) - Q_{0} ({\hat{θ}}_{n}) + Q_{0} (θ_{0}) - Q_{n} (X_{1}, \dots, X_{n}, θ_{0}) \\ \leq {Q_{n} (X_{1}, \dots, X_{n}, {\hat{θ}}_{n}) - Q_{0} ({\hat{θ}}_{n})} + {Q_{0} (θ_{0}) - Q_{n} (X_{1}, \dots, X_{n}, θ_{0})} \\ \leq 2 sup_{θ \in Θ} | Q_{n} (X_{1}, \dots, X_{n}, θ) - Q_{0} (θ) | \\ \to^{p} 0 \end{aligned}$
となる ((ii)より各 $n$ について $Q_{0} ({\hat{θ}}_{n})$ は $F / B (R)$ -可測であることに注意する). 任意に $ε > 0$ を固定し,
$\begin{array}{r} η (ε) = Q_{0} (θ_{0}) - sup_{θ : ∥ θ - θ_{0} ∥ \geq ε} Q_{0} (θ) \end{array}$
とおく. このとき, 仮定[4]より $η (ε) > 0$ であり, 各 $n$ について $∥ {\hat{θ}}_{n} - θ_{0} ∥ \geq ε$ ならば,
$\begin{array}{r} Q_{0} ({\hat{θ}}_{n}) \leq sup_{θ : ∥ θ - θ_{0} ∥ \geq ε} Q_{0} (θ) = Q_{0} (θ_{0}) - η (ε) \end{array}$
が成り立つ. したがって,
$\begin{array}{r} P (∥ {\hat{θ}}_{n} - θ_{0} ∥ \geq ε) \leq P (Q_{0} (θ_{0}) - Q_{0} ({\hat{θ}}_{n}) \geq η (ε)) \to 0 \end{array}$
となり, 結論を得る. (証明終)

定理2の仮定について

仮定[1] - [3]はM-推定量 ${\hat{θ}}_{n}$ の存在を保証するために必要です.
仮定[4]は真値 $θ_{0}$ が $Q_{0}$ の孤立最大点であることを述べており (識別可能性条件), これはM-推定の思想の根幹です.
仮定[5]は ${Q_{n}}$ が $Q_{0}$ に一様に確率収束することを述べています. 大抵の場合, $Q_{n}$ は標本平均の形
$\begin{array}{r} Q_{n} (X_{1}, \dots, X_{n}; θ) = \frac{1}{n} \sum_{i = 1}^{n} q (X_{i}; θ) \end{array}$
に表されるので, 各点 $θ$ での確率収束は大数の法則より成り立ちます. しかし, この確率収束が一様なものであるかは不明です. これを保証するには一様な大数の法則が必要です. 一様な大数の法則については, 記事「一様な大数の法則について」を参照してください.
仮定[5]における確率収束を概収束に取り替えれば, 定理の結論(iii)は強一致性 ${\hat{θ}}_{n} \to θ_{0}$ a.s.として得られます.