本記事はM-推定量の可測性に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.
$\{ X_i \}_{i \in \mathbb{N}}$を確率空間$(\Omega, \mathscr{F}, \mathbb{P})$上に定義された$\mathscr{X}$-値確率変数列とします. また, $\Theta$を未知パラメータの空間とし, パラメータの真値$\boldsymbol{\theta}_0$の推定を考えます.
$\{ Q_n \}_{n \in \mathbb{N}}$を$\mathscr{X}^n \times \Theta$上の実数値関数列とします. $X_1, \ldots, X_n$を$n$個の観測とするとき, $\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が$\boldsymbol{\theta}_0$のM-推定量であるとは, それが
\begin{align}
\widehat{\boldsymbol{\theta}}_n(\omega)
= \underset{\boldsymbol{\theta} \in \Theta}{\text{argmax}}\;Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta}), \quad \omega \in \Omega
\end{align}
を満たす$\mathscr{F}/\mathscr{B}(\Theta)$-可測写像であるときに言います.
M-推定の"M"は"Maximum likelihood like"を意味し, その名の通りM-推定は最尤推定の一般化です. M-推定を念頭に置く際, $\{ Q_n \}$は真値$\boldsymbol{\theta}_0$を唯一の最小点に持つ関数$Q_0: \Theta \to \mathbb{R}$に (各点で) 確率収束する量であり, この意味で$Q_n$の最大点$\widehat{\boldsymbol{\theta}}_n$は真値$\boldsymbol{\theta}_0$に十分近いと考えるのがM-推定の思想です.$Q_n, Q_0$はそれぞれ最尤推定の枠組みにおける対数尤度, 期待対数尤度に相当します.
さて, このM-推定を理論的に考察する上での最初の難点は, $\widehat{\boldsymbol{\theta}}_n(\omega)$が$\boldsymbol{\theta} \mapsto Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta})$の最大点であるという情報だけでは一般に$\widehat{\boldsymbol{\theta}}_n$が$\mathscr{F}/\mathscr{B}(\Theta)$-可測となるかが分からないことです. そこで, 本記事では適当な条件の下で$\widehat{\boldsymbol{\theta}}_n$の$\mathscr{F}/\mathscr{B}(\Theta)$-可測性が保証されることを示します.
次の3つの条件を仮定する.
このとき, $\mathscr{F}/\mathscr{B}(\Theta)$-可測写像$\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が存在して, 任意の$\omega \in \Omega$に対して
\begin{align}
Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big)
= \max_{\boldsymbol{\theta} \in \Uptheta} Q(\omega, \boldsymbol{\theta})
\end{align}
が成り立つ.
次の証明はGourieroux and Monfortbook1のProperty 24.1を参考にしています.
$\Uptheta$は$\mathbb{R}^p$のコンパクト部分集合であるから, 可算稠密部分集合を持つ (例えば, 齋藤book4の命題5.4.12). したがって, $\Uptheta$の有限部分集合の増大列$\{\Uptheta_n\}_{n\in\mathbb{N}}$で,
\begin{align*}
\Uptheta_\infty
= \bigcup_{n=1}^{\infty}\Uptheta_n, \quad\cl(\Uptheta_\infty)=\Uptheta
\end{align*}
を満たすものが存在する.
$n\in\mathbb{N}$を固定し, 関数$Q(\omega,\,\cdot\,)$の$\Uptheta_n$上での最大化を考える. 今,
\begin{align*}
\Uptheta_n
= \{ \bm{\theta}_{n,1}, \ldots, \bm{\theta}_{n,K_n} \}, \quad K_n < \infty
\end{align*}
とする. もし$Q$を最大化する点が複数存在する場合には添字が最小のものを選ぶことにして, $\widehat{\bm{\theta}}_n:\Omega\to\Uptheta_n$を
\begin{align*}
\widehat{\bm{\theta}}_n(\omega)
= \bm{\theta}_{n,j},
\quad j = \min\Big\{ k \in \{ 1, \ldots, K_n \}\,\Big|\,Q(\omega, \bm{\theta}_{n,k}) = \max_{\bm{\theta}\in\Uptheta_n} Q(\omega, \bm{\theta}) \Big\}
\end{align*}
により定める. このとき, もちろん任意の$\omega\in\Omega$について
\begin{align*}
Q\big( \omega,\widehat{\bm{\theta}}_n(\omega) \big)
= \max_{\bm{\theta}\in\Uptheta_n} Q(\omega,\bm{\theta})
\end{align*}
である. また, 各$j\in\{1, \ldots, K_n\}$について
\begin{align*}
\big\{ \omega\,|\,\widehat{\bm{\theta}}_n(\omega) = \bm{\theta}_{n,j} \big\}
= \bigcap_{i=1}^{j-1} \big\{ \omega\,\big|\,Q(\omega, \bm{\theta}_{n,j}) > Q(\omega, \bm{\theta}_{n,i}) \big\} \cap \bigcap_{i=j}^{K_n} \big\{ \omega\,\big|\,Q(\omega, \bm{\theta}_{n,j}) \geq Q(\omega, \bm{\theta}_{n,i}) \big\}
\end{align*}
であり, 右辺に現れる集合はいずれも$\mathscr{F}$に属するから, $\widehat{\bm{\theta}}_n$は$\mathscr{F}$-可測である.
可測写像列$\{\widehat{\bm{\theta}}_n\}_{n\in\mathbb{N}}$から収束部分列を構成する. まず, 各$q \in \mathbb{N}$について写像$n_q^{(0)}: \Omega \to \mathbb{N}$を
\begin{align*}
n_q^{(0)}(\omega)=q
\end{align*}
で定める. 次に, 任意に$r\in\{1,\ldots,p\}$を固定し, $\mathscr{F}$-可測な正整数値写像列
\begin{align*}
n_1^{(r-1)}(\omega) < n_2^{(r-1)}(\omega) < \cdots, \quad \omega\in\Omega
\end{align*}
が既に構成されていると仮定する. 各$\omega\in\Omega$について
\begin{align*}
\widehat{\theta}^{(r)}(\omega)
= \liminf_{q\to\infty} \widehat{\theta}_{n_q^{(r-1)}(\omega)}^{(r)}(\omega)\;(\in\mathbb{R})
\end{align*}
と定める. ここで, $\widehat{\theta}_n^{(r)}$は$\widehat{\bm{\theta}}_n$の第$r$成分を表す. このとき, 各$q\in\mathbb{N}$について写像$\omega\mapsto\widehat{\theta}_{n_q^{(r-1)}(\omega)}^{(r)}(\omega)$は可測である. 実際, 任意の$a\in\mathbb{R}$に対して
\begin{align*}
\Big\{ \omega\,\Big|\,\widehat{\theta}_{n_q^{(r-1)}(\omega)}^{(r)}(\omega) < a \Big\}
= \bigcup_{m=1}^{\infty} \Big[ \big\{ \omega\,\big|\,n_q^{(r-1)}(\omega) = m \big\} \cap \big\{ \omega\,\big|\,\widehat{\theta}_m^{(r)}(\omega) < a \big\} \Big]
\end{align*}
であり, $n_q^{(r-1)}$は$\mathscr{F}$-可測であるから, 右辺に現れる集合はいずれも$\mathscr{F}$に属する. したがって, $\widehat{\theta}^{(r)}$も$\mathscr{F}$-可測である.
さて, $k_0^{(r)} = 0$とし, 各$q\in\mathbb{N}$について写像$k_q^{(r)}: \Omega \to \mathbb{N}$を帰納的に
\begin{align*}
k_q^{(r)}(\omega)
= \min\bigg\{ k\in\mathbb{N}\,\bigg|\, k>k_{q-1}^{(r)}(\omega), \Big| \widehat{\theta}_{n_k^{(r-1)}(\omega)}^{(r)}(\omega) - \widehat{\theta}^{(r)}(\omega) \Big| <\frac{1}{q} \bigg\}
\end{align*}
で定める. ここで, $\widehat{\theta}^{(r)}$の定義より, 任意の$\omega\in\Omega$と$q\in\mathbb{N}$について右辺の集合は空でないことに注意する. 写像$k_q^{(r)}$は可測である. 実際,
\begin{align*}
C_{q,k}^{(r)}
= \bigg\{ \omega\,\bigg|\, \Big| \widehat{\theta}_{n_k^{(r-1)}(\omega)}^{(r)}(\omega) - \widehat{\theta}^{(r)}(\omega) \Big| <\frac{1}{q} \bigg\}
\end{align*}
とおけば, 任意の$m\in\mathbb{N}$に対して
\begin{align*}
\big\{ \omega\,\big|\,k_q^{(r)}(\omega) = m \big\}
= \big\{ \omega\,\big|\, k_{q-1}^{(r)}(\omega) < m \big\} \cap C_{q,m}^{(r)}
\cap \bigcap_{\ell=1}^{m-1} \Big[ \big\{ \omega\,\big|\,k_{q-1}^{(r)}(\omega) \geq \ell \big\} \cup \big( C_{q, \ell}^{(r)} \big)^c \Big]
\end{align*}
であり, $k_0^{(r)}$は$\mathscr{F}$-可測であるから, 右辺に現れる集合はいずれも$\mathscr{F}$に属することが帰納法で示せる. そこで, 各$q\in\mathbb{N}$について$n_q^{(r)}: \Omega \to \mathbb{N}$を
\begin{align*}
n_q^{(r)}(\omega)
= n_{k_q^{(r)}(\omega)}^{(r-1)}(\omega)
\end{align*}
と定めると, この写像は$\mathscr{F}$-可測である. 実際, 任意の$m\in\mathbb{N}$に対して
\begin{align*}
\big\{ \omega\,\big|\,n_q^{(r)}(\omega) = m \big\}
= \bigcup_{\ell=1}^{\infty} \Big[ \big\{ \omega\,\big|\, k_q^{(r)}(\omega) = \ell \big\} \cap \big\{ \omega\,\big|\,n_\ell^{(r-1)}(\omega) = m \big\} \Big]
\end{align*}
であり, $k_q^{(r)}$, $n_\ell^{(r-1)}$の$\mathscr{F}$-可測性より右辺に現れる集合はいずれも$\mathscr{F}$に属する. 定義より各$\omega\in\Omega$について$\{ n_q^{(r)}(\omega) \}$は$\{ n_q^{(r-1)}(\omega) \}$の部分列であり,
\begin{align*}
\Big| \widehat{\theta}_{n_q^{(r)}(\omega)}^{(r)}(\omega) - \widehat{\theta}^{(r)}(\omega) \Big|
< \frac{1}{q}, \quad \omega\in\Omega
\end{align*}
であるから,
\begin{align*}
\lim_{q\to\infty} \widehat{\theta}_{n_q^{(r)}(\omega)}^{(r)}(\omega)
= \widehat{\theta}^{(r)}(\omega), \quad \omega\in\Omega.
\end{align*}
である.
以上の操作を$r=1,\ldots,p$について繰り返すと, $\{ n_q^{(1)} \}, \ldots, \{ n_q^{(p)} \}$および$\widehat{\theta}^{(1)}, \ldots, \widehat{\theta}^{(p)}$が得られる. 各$\omega\in\Omega$および各$r\in\{1,\ldots,p\}$について, $\{n_q^{(p)}(\omega)\}$は$\{n_q^{(r)}(\omega)\}$の部分列であるから,
\begin{align*}
\lim_{q\to\infty} \widehat{\bm{\theta}}_{n_q^{(p)}(\omega)}(\omega)
= \widehat{\bm{\theta}}(\omega)
= \big[ \widehat{\theta}^{(1)}(\omega), \ldots, \widehat{\theta}^{(p)}(\omega) \big]^\prime,
\quad \omega\in\Omega
\end{align*}
が成り立つ. このとき, 各$q\in\mathbb{N}$について$\widehat{\bm{\theta}}_{n_q^{(p)}(\omega)}(\omega) \in \Uptheta$であり, $\Uptheta$はコンパクトであるから, $\widehat{\bm{\theta}}(\omega)\in\Uptheta$となることに注意する. また, $\widehat{\theta}^{(1)}, \ldots, \widehat{\theta}^{(p)}$は$\mathscr{F}$-可測であるから, $\widehat{\bm{\theta}}$も$\mathscr{F}$-可測である.
任意に$\omega\in\Omega$を固定するとき,
\begin{align*}
Q\big( \omega, \widehat{\bm{\theta}}(\omega) \big)
&=
\lim_{q\to\infty} Q\big( \omega, \widehat{\bm{\theta}}_{n_q^{(p)}(\omega)}(\omega) \big) \\
&= \lim_{q\to\infty} \max_{\bm{\theta} \in \Uptheta_{n_q^{(p)}(\omega)}} Q(\omega, \bm{\theta}) \\
&= \sup_{\bm{\theta}\in\Uptheta_\infty} Q(\omega,\bm{\theta}) \\
&= \max_{\bm{\theta}\in\Uptheta} Q(\omega,\bm{\theta}).
\end{align*}
が成り立つ. ここで, 第1行は$\widehat{\bm{\theta}}_{n_q^{(p)}} \to \widehat{\bm{\theta}}$および$\bm{\theta} \mapsto Q(\omega, \bm{\theta})$の連続性, 第2行は$\{ \widehat{\bm{\theta}}_n \}$の定義, 第3行は$\Uptheta_n \uparrow \Uptheta_\infty$による. 第4行は$\Uptheta_\infty$の$\Uptheta$における稠密性, $\bm{\theta} \mapsto Q(\omega, \bm{\theta})$の連続性および$\Uptheta$のコンパクト性による. (証明終)