0
大学数学基礎解説
文献あり

M-推定量の可測性について

117
0
$$\newcommand{bm}[1]{\boldsymbol{#1}} \newcommand{cl}[0]{\text{cl}} $$

はじめに

本記事はM-推定量の可測性に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.

M-推定

$\{ X_i \}_{i \in \mathbb{N}}$を確率空間$(\Omega, \mathscr{F}, \mathbb{P})$上に定義された$\mathscr{X}$-値確率変数列とします. また, $\Theta$を未知パラメータの空間とし, パラメータの真値$\boldsymbol{\theta}_0$の推定を考えます.

$\{ Q_n \}_{n \in \mathbb{N}}$を$\mathscr{X}^n \times \Theta$上の実数値関数列とします. $X_1, \ldots, X_n$を$n$個の観測とするとき, $\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が$\boldsymbol{\theta}_0$のM-推定量であるとは, それが
\begin{align} \widehat{\boldsymbol{\theta}}_n(\omega) = \underset{\boldsymbol{\theta} \in \Theta}{\text{argmax}}\;Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta}), \quad \omega \in \Omega \end{align}
を満たす$\mathscr{F}/\mathscr{B}(\Theta)$-可測写像であるときに言います.

M-推定の"M"は"Maximum likelihood like"を意味し, その名の通りM-推定は最尤推定の一般化です. M-推定を念頭に置く際, $\{ Q_n \}$は真値$\boldsymbol{\theta}_0$を唯一の最小点に持つ関数$Q_0: \Theta \to \mathbb{R}$に (各点で) 確率収束する量であり, この意味で$Q_n$の最大点$\widehat{\boldsymbol{\theta}}_n$は真値$\boldsymbol{\theta}_0$に十分近いと考えるのがM-推定の思想です.$Q_n, Q_0$はそれぞれ最尤推定の枠組みにおける対数尤度, 期待対数尤度に相当します.

さて, このM-推定を理論的に考察する上での最初の難点は, $\widehat{\boldsymbol{\theta}}_n(\omega)$が$\boldsymbol{\theta} \mapsto Q_n(X_1(\omega), \ldots, X_n(\omega), \boldsymbol{\theta})$の最大点であるという情報だけでは一般に$\widehat{\boldsymbol{\theta}}_n$が$\mathscr{F}/\mathscr{B}(\Theta)$-可測となるかが分からないことです. そこで, 本記事では適当な条件の下で$\widehat{\boldsymbol{\theta}}_n$の$\mathscr{F}/\mathscr{B}(\Theta)$-可測性が保証されることを示します.

M-推定量の可測性

記法
  • 位相空間$\mathcal{X}$に対して$\mathscr{B}(\mathcal{X})$は$\mathcal{X}$のBorel集合族を表す.
  • 位相空間$\mathcal{X}$に対して$\text{cl}(\mathcal{X})$は$\mathcal{X}$の閉包を表す.
設定
  • $(\Omega, \mathscr{F})$は可測空間.
  • $\Theta$は$\mathbb{R}^p$の非空部分集合.
  • $Q$は$\Omega \times \Theta$上の実数値関数.
可測選択定理 (Jennrichpaper2, Lemma 2)

次の3つの条件を仮定する.

  1. $\Theta$はコンパクト.
  2. 各$\boldsymbol{\theta} \in \Theta$に対して$\Omega \ni \omega \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$は$\mathscr{F}/\mathscr{B}(\mathbb{R})$-可測.
  3. 各$\omega \in \Omega$に対して$\Theta \ni \boldsymbol{\theta} \mapsto Q(\omega, \boldsymbol{\theta}) \in \mathbb{R}$は連続.

このとき, $\mathscr{F}/\mathscr{B}(\Theta)$-可測写像$\widehat{\boldsymbol{\theta}}_n: \Omega \to \Theta$が存在して, 任意の$\omega \in \Omega$に対して
\begin{align} Q\big( \omega, \widehat{\boldsymbol{\theta}}(\omega) \big) = \max_{\boldsymbol{\theta} \in \Uptheta} Q(\omega, \boldsymbol{\theta}) \end{align}
が成り立つ.

次の証明はGourieroux and Monfortbook1のProperty 24.1を参考にしています.

【第1段】

$\Uptheta$は$\mathbb{R}^p$のコンパクト部分集合であるから, 可算稠密部分集合を持つ (例えば, 齋藤book4の命題5.4.12). したがって, $\Uptheta$の有限部分集合の増大列$\{\Uptheta_n\}_{n\in\mathbb{N}}$で,
\begin{align*} \Uptheta_\infty = \bigcup_{n=1}^{\infty}\Uptheta_n, \quad\cl(\Uptheta_\infty)=\Uptheta \end{align*}
を満たすものが存在する.

【第2段】

$n\in\mathbb{N}$を固定し, 関数$Q(\omega,\,\cdot\,)$の$\Uptheta_n$上での最大化を考える. 今,
\begin{align*} \Uptheta_n = \{ \bm{\theta}_{n,1}, \ldots, \bm{\theta}_{n,K_n} \}, \quad K_n < \infty \end{align*}
とする. もし$Q$を最大化する点が複数存在する場合には添字が最小のものを選ぶことにして, $\widehat{\bm{\theta}}_n:\Omega\to\Uptheta_n$を
\begin{align*} \widehat{\bm{\theta}}_n(\omega) = \bm{\theta}_{n,j}, \quad j = \min\Big\{ k \in \{ 1, \ldots, K_n \}\,\Big|\,Q(\omega, \bm{\theta}_{n,k}) = \max_{\bm{\theta}\in\Uptheta_n} Q(\omega, \bm{\theta}) \Big\} \end{align*}
により定める. このとき, もちろん任意の$\omega\in\Omega$について
\begin{align*} Q\big( \omega,\widehat{\bm{\theta}}_n(\omega) \big) = \max_{\bm{\theta}\in\Uptheta_n} Q(\omega,\bm{\theta}) \end{align*}
である. また, 各$j\in\{1, \ldots, K_n\}$について
\begin{align*} \big\{ \omega\,|\,\widehat{\bm{\theta}}_n(\omega) = \bm{\theta}_{n,j} \big\} = \bigcap_{i=1}^{j-1} \big\{ \omega\,\big|\,Q(\omega, \bm{\theta}_{n,j}) > Q(\omega, \bm{\theta}_{n,i}) \big\} \cap \bigcap_{i=j}^{K_n} \big\{ \omega\,\big|\,Q(\omega, \bm{\theta}_{n,j}) \geq Q(\omega, \bm{\theta}_{n,i}) \big\} \end{align*}
であり, 右辺に現れる集合はいずれも$\mathscr{F}$に属するから, $\widehat{\bm{\theta}}_n$は$\mathscr{F}$-可測である.

【第3段】

可測写像列$\{\widehat{\bm{\theta}}_n\}_{n\in\mathbb{N}}$から収束部分列を構成する. まず, 各$q \in \mathbb{N}$について写像$n_q^{(0)}: \Omega \to \mathbb{N}$を
\begin{align*} n_q^{(0)}(\omega)=q \end{align*}
で定める. 次に, 任意に$r\in\{1,\ldots,p\}$を固定し, $\mathscr{F}$-可測な正整数値写像列
\begin{align*} n_1^{(r-1)}(\omega) < n_2^{(r-1)}(\omega) < \cdots, \quad \omega\in\Omega \end{align*}
が既に構成されていると仮定する. 各$\omega\in\Omega$について
\begin{align*} \widehat{\theta}^{(r)}(\omega) = \liminf_{q\to\infty} \widehat{\theta}_{n_q^{(r-1)}(\omega)}^{(r)}(\omega)\;(\in\mathbb{R}) \end{align*}
と定める. ここで, $\widehat{\theta}_n^{(r)}$は$\widehat{\bm{\theta}}_n$の第$r$成分を表す. このとき, 各$q\in\mathbb{N}$について写像$\omega\mapsto\widehat{\theta}_{n_q^{(r-1)}(\omega)}^{(r)}(\omega)$は可測である. 実際, 任意の$a\in\mathbb{R}$に対して
\begin{align*} \Big\{ \omega\,\Big|\,\widehat{\theta}_{n_q^{(r-1)}(\omega)}^{(r)}(\omega) < a \Big\} = \bigcup_{m=1}^{\infty} \Big[ \big\{ \omega\,\big|\,n_q^{(r-1)}(\omega) = m \big\} \cap \big\{ \omega\,\big|\,\widehat{\theta}_m^{(r)}(\omega) < a \big\} \Big] \end{align*}
であり, $n_q^{(r-1)}$は$\mathscr{F}$-可測であるから, 右辺に現れる集合はいずれも$\mathscr{F}$に属する. したがって, $\widehat{\theta}^{(r)}$も$\mathscr{F}$-可測である.

さて, $k_0^{(r)} = 0$とし, 各$q\in\mathbb{N}$について写像$k_q^{(r)}: \Omega \to \mathbb{N}$を帰納的に
\begin{align*} k_q^{(r)}(\omega) = \min\bigg\{ k\in\mathbb{N}\,\bigg|\, k>k_{q-1}^{(r)}(\omega), \Big| \widehat{\theta}_{n_k^{(r-1)}(\omega)}^{(r)}(\omega) - \widehat{\theta}^{(r)}(\omega) \Big| <\frac{1}{q} \bigg\} \end{align*}
で定める. ここで, $\widehat{\theta}^{(r)}$の定義より, 任意の$\omega\in\Omega$と$q\in\mathbb{N}$について右辺の集合は空でないことに注意する. 写像$k_q^{(r)}$は可測である. 実際,
\begin{align*} C_{q,k}^{(r)} = \bigg\{ \omega\,\bigg|\, \Big| \widehat{\theta}_{n_k^{(r-1)}(\omega)}^{(r)}(\omega) - \widehat{\theta}^{(r)}(\omega) \Big| <\frac{1}{q} \bigg\} \end{align*}
とおけば, 任意の$m\in\mathbb{N}$に対して
\begin{align*} \big\{ \omega\,\big|\,k_q^{(r)}(\omega) = m \big\} = \big\{ \omega\,\big|\, k_{q-1}^{(r)}(\omega) < m \big\} \cap C_{q,m}^{(r)} \cap \bigcap_{\ell=1}^{m-1} \Big[ \big\{ \omega\,\big|\,k_{q-1}^{(r)}(\omega) \geq \ell \big\} \cup \big( C_{q, \ell}^{(r)} \big)^c \Big] \end{align*}
であり, $k_0^{(r)}$は$\mathscr{F}$-可測であるから, 右辺に現れる集合はいずれも$\mathscr{F}$に属することが帰納法で示せる. そこで, 各$q\in\mathbb{N}$について$n_q^{(r)}: \Omega \to \mathbb{N}$を
\begin{align*} n_q^{(r)}(\omega) = n_{k_q^{(r)}(\omega)}^{(r-1)}(\omega) \end{align*}
と定めると, この写像は$\mathscr{F}$-可測である. 実際, 任意の$m\in\mathbb{N}$に対して
\begin{align*} \big\{ \omega\,\big|\,n_q^{(r)}(\omega) = m \big\} = \bigcup_{\ell=1}^{\infty} \Big[ \big\{ \omega\,\big|\, k_q^{(r)}(\omega) = \ell \big\} \cap \big\{ \omega\,\big|\,n_\ell^{(r-1)}(\omega) = m \big\} \Big] \end{align*}
であり, $k_q^{(r)}$, $n_\ell^{(r-1)}$の$\mathscr{F}$-可測性より右辺に現れる集合はいずれも$\mathscr{F}$に属する. 定義より各$\omega\in\Omega$について$\{ n_q^{(r)}(\omega) \}$は$\{ n_q^{(r-1)}(\omega) \}$の部分列であり,
\begin{align*} \Big| \widehat{\theta}_{n_q^{(r)}(\omega)}^{(r)}(\omega) - \widehat{\theta}^{(r)}(\omega) \Big| < \frac{1}{q}, \quad \omega\in\Omega \end{align*}
であるから,
\begin{align*} \lim_{q\to\infty} \widehat{\theta}_{n_q^{(r)}(\omega)}^{(r)}(\omega) = \widehat{\theta}^{(r)}(\omega), \quad \omega\in\Omega. \end{align*}
である.

以上の操作を$r=1,\ldots,p$について繰り返すと, $\{ n_q^{(1)} \}, \ldots, \{ n_q^{(p)} \}$および$\widehat{\theta}^{(1)}, \ldots, \widehat{\theta}^{(p)}$が得られる. 各$\omega\in\Omega$および各$r\in\{1,\ldots,p\}$について, $\{n_q^{(p)}(\omega)\}$は$\{n_q^{(r)}(\omega)\}$の部分列であるから,
\begin{align*} \lim_{q\to\infty} \widehat{\bm{\theta}}_{n_q^{(p)}(\omega)}(\omega) = \widehat{\bm{\theta}}(\omega) = \big[ \widehat{\theta}^{(1)}(\omega), \ldots, \widehat{\theta}^{(p)}(\omega) \big]^\prime, \quad \omega\in\Omega \end{align*}
が成り立つ. このとき, 各$q\in\mathbb{N}$について$\widehat{\bm{\theta}}_{n_q^{(p)}(\omega)}(\omega) \in \Uptheta$であり, $\Uptheta$はコンパクトであるから, $\widehat{\bm{\theta}}(\omega)\in\Uptheta$となることに注意する. また, $\widehat{\theta}^{(1)}, \ldots, \widehat{\theta}^{(p)}$は$\mathscr{F}$-可測であるから, $\widehat{\bm{\theta}}$も$\mathscr{F}$-可測である.

【第4段】

任意に$\omega\in\Omega$を固定するとき,
\begin{align*} Q\big( \omega, \widehat{\bm{\theta}}(\omega) \big) &= \lim_{q\to\infty} Q\big( \omega, \widehat{\bm{\theta}}_{n_q^{(p)}(\omega)}(\omega) \big) \\ &= \lim_{q\to\infty} \max_{\bm{\theta} \in \Uptheta_{n_q^{(p)}(\omega)}} Q(\omega, \bm{\theta}) \\ &= \sup_{\bm{\theta}\in\Uptheta_\infty} Q(\omega,\bm{\theta}) \\ &= \max_{\bm{\theta}\in\Uptheta} Q(\omega,\bm{\theta}). \end{align*}
が成り立つ. ここで, 第1行は$\widehat{\bm{\theta}}_{n_q^{(p)}} \to \widehat{\bm{\theta}}$および$\bm{\theta} \mapsto Q(\omega, \bm{\theta})$の連続性, 第2行は$\{ \widehat{\bm{\theta}}_n \}$の定義, 第3行は$\Uptheta_n \uparrow \Uptheta_\infty$による. 第4行は$\Uptheta_\infty$の$\Uptheta$における稠密性, $\bm{\theta} \mapsto Q(\omega, \bm{\theta})$の連続性および$\Uptheta$のコンパクト性による. (証明終)

参考文献

[1]
Gourieroux, C. and Monfort, A., Statistics and Econometric Models Volume 2: Testing, Confidence Regions, Model Selection and Asymptotic Theory, Themes in Modern Econometrics , Cambridge University Press, 1995
[2]
Jennrich, R. I., Asymptotic properties of non-linear least squares estimators, The Annals of Mathematical Statistics, 1969, 633 - 643
[3]
伊藤清三, ルベーグ積分入門 (新装版), 数学選書4, 裳華房, 2017
[4]
齋藤正彦, 数学の基礎 集合・数・位相, 基礎数学, 東京大学出版会, 2002
投稿日:2025年1月21日
更新日:15日前
数学の力で現場を変える アルゴリズムエンジニア募集 - Mathlog served by OptHub

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。

投稿者

ゆる~く統計数理を勉強してる人

コメント

他の人のコメント

コメントはありません。
読み込み中...
読み込み中