一様な大数の法則について

数理統計学,計量経済学,統計的漸近理論

はじめに

本記事は一様な大数の法則に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.

一様な大数の法則

M-推定の漸近理論では, 大数の法則をパラメータ空間の各点での収束からコンパクト集合上での一様な収束へ拡張した一様な大数の法則が必須の道具となります.

記法

位相空間$\mathcal{X}$に対して$\mathscr{B}(\mathcal{X})$は$\mathcal{X}$のBorel集合族を表す.
$\mathbb{B}(\theta, \rho)$は中心$\theta$, 半径$\rho$の開球を表す. すなわち, $\mathbb{B}(\theta, \rho) = \{ \widetilde{\theta} \in \Theta\,|\,d(\widetilde{\theta} - \theta) < \rho \}$.
a.s.はalmost surely (ほとんど確実に, 確率1での意) の略.

設定

$(\Omega, \mathscr{F}, \mathbb{P})$は確率空間.
$(\mathscr{X}, \mathscr{A}, \mu)$は$\sigma$-測度空間.
$(\Theta, d)$は距離空間.
$\{ X_i \}_{i \in \mathbb{N}}$は$(\Omega, \mathscr{F}, \mathbb{P})$上の$\mathscr{X}$-値確率変数列.
$\{ q_i \}_{i\in\mathbb{N}}$は$\mathscr{X} \times \Theta$上の実数値関数列.
$\{ \overline{q}_i \}$および$\{ \underline{q}_{\hspace{0.5pt}i} \}$は次で定まる$\mathscr{X} \times \Theta \times \mathbb{R}_+$上の実数値関数列 :
\begin{align*} \overline{q}_i(X_i, \bm{\theta}, \rho) = \sup_{\widetilde{\bm{\theta}} \in \mathbb{B}(\bm{\theta},\hspace{0.5pt}\rho)} q_i(X_i, \widetilde{\bm{\theta}}), \quad \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}, \rho) = \inf_{\widetilde{\bm{\theta}} \in \mathbb{B}(\bm{\theta},\hspace{0.5pt}\rho)} q_i(X_i, \widetilde{\bm{\theta}}). \end{align*}
各$i\in\mathbb{N}$について$P_i$は$X_i$の分布であり, $\mu$に関して絶対連続. また, $p_i$は$P_i$の密度関数.

次の定理は一様な大数の法則を与えます.

一様な大数の法則(Andrewspaper1, THEOREM)

次の3つの条件を仮定する.

$\Uptheta$はコンパクト.
任意に$\bm{\theta} \in \Uptheta$を固定するとき, 各$i \in \mathbb{N}$について
\begin{align*} \omega \mapsto q_i(X_i(\omega), \bm{\theta}) \end{align*}
は$\mathscr{F}$-可測である. さらに, $\rho(\bm{\theta})$を十分小さく選べば, 各$i \in \mathbb{N}$について
\begin{align*} \omega \mapsto \overline{q}_i(X_i(\omega), \bm{\theta}, \rho(\bm{\theta})), \quad \omega \mapsto \underline{q}_{\hspace{0.5pt}i}(X_i(\omega), \bm{\theta}, \rho(\bm{\theta})) \end{align*}
は$\mathscr{F}$-可測であり,
\begin{align*} &\lim_{n \to \infty} \frac{1}{n} \sum_{i=1}^n \Big( \overline{q}_i(X_i, \bm{\theta}, \rho) - \mathbb{E}\big[ \overline{q}_i(X_i, \bm{\theta}, \rho) \big] \Big) = 0 \quad \text{a.s.}, \\ &\lim_{n \to \infty} \frac{1}{n} \sum_{i=1}^n \Big( \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}, \rho) - \mathbb{E}\big[ \hspace{0.5pt} \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}, \rho) \big] \Big) = 0 \quad \text{a.s.} \end{align*}
任意の$\bm{\theta} \in \Uptheta$に対して
\begin{align*} &\lim_{\rho \to 0} \sup_{n \in \mathbb{N}} \Bigg| \frac{1}{n} \sum_{i=1}^n \Big( \mathbb{E}\big[ \overline{q}_i(X_i, \bm{\theta}, \rho) \big] - \mathbb{E}\big[ q_i(X_i, \bm{\theta}) \big] \Big) \Bigg| = 0, \\ &\lim_{\rho \to 0} \sup_{n \in \mathbb{N}} \Bigg| \frac{1}{n} \sum_{i=1}^n \Big( \mathbb{E}\big[ \hspace{0.5pt} \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}, \rho) \big] - \mathbb{E}\big[ q_i(X_i, \bm{\theta}) \big] \Big) \Bigg| = 0. \end{align*}

このとき, 写像
\begin{align*} \bm{\theta} \mapsto \frac{1}{n} \sum_{i=1}^n \mathbb{E}\big[ q_i(X_i, \bm{\theta}) \big] \end{align*}
は$\Uptheta$上連続であり,
\begin{align*} \lim_{n \to \infty} \sup_{\bm{\theta} \in \Uptheta} \Bigg| \frac{1}{n} \sum_{i=1}^n \Big( q_i(X_i, \bm{\theta}) - \mathbb{E}\big[ q_i(X_i, \bm{\theta}) \big] \Big) \Bigg| = 0 \quad \text{a.s.} \end{align*}
が成り立つ.

写像
\begin{align*} \Uptheta \ni \bm{\theta} \mapsto \frac{1}{n} \sum_{i=1}^n \mathbb{E}\big[ q_i(X_i, \bm{\theta}) \big] \in \mathbb{R} \end{align*}
の連続性は仮定[A3]から明らかである.
さて, 各$i \in \mathbb{N}$について$Q_i(\bm{\theta}) = \mathbb{E}[q_i(X_i, \bm{\theta})]$と定める. 任意に$\varepsilon > 0$を固定する. このとき, 仮定[A3]より任意の$\bm{\theta} \in \Uptheta$に対して十分小さい$\rho(\varepsilon, \bm{\theta}) > 0$を選べば, 各$n\in\mathbb{N}$について
\begin{align} \frac{1}{n} \sum_{i=1}^n Q_i(\bm{\theta}) - \frac{\varepsilon}{2} \leq \frac{1}{n} \sum_{i=1}^n \mathbb{E}\big[ \hspace{0.5pt} \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}, \rho(\varepsilon, \bm{\theta})) \big] \leq \frac{1}{n} \sum_{i=1}^n \mathbb{E}\big[ \overline{q}_i(X_i, \bm{\theta}, \rho(\varepsilon, \bm{\theta})) \big] \leq \frac{1}{n} \sum_{i=1}^n Q_i(\bm{\theta}) + \frac{\varepsilon}{2} \label{eq:1} \end{align}
が成り立つ. この$\rho(\varepsilon, \bm{\theta})$に対して開球の族$\{ \mathbb{B}(\bm{\theta}, \rho(\varepsilon, \bm{\theta})) \}_{\bm{\theta} \in \Uptheta}$を考えると, これは$\Uptheta$の開被覆であり, $\Uptheta$のコンパクト性よりこのうちの有限個$\mathbb{B}(\bm{\theta}_j, \rho(\varepsilon, \bm{\theta}_j))$, $j\in\{ 1, \ldots, J \}$によって$\Uptheta$を被覆できる. したがって, 各$j\in\{ 1, \ldots, J \}$について$\rho_j = \rho(\varepsilon, \bm{\theta}_j)$と略記すると,
\begin{align*} \sup_{\bm{\theta} \in \mathbb{B}(\bm{\theta}_j, \rho_j)} \frac{1}{n} \sum_{i=1}^n \Big( q_i(X_i, \bm{\theta}) - Q_i(\bm{\theta}) \Big) &\leq \frac{1}{n} \sum_{i=1}^n \Big( \overline{q}_i(X_i, \bm{\theta}_j, \rho_j) - \mathbb{E}\big[ \hspace{0.5pt} \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}_j, \rho_j) \big] \Big) \\ &\leq \frac{1}{n} \sum_{i=1}^n \Big( \overline{q}_i(X_i, \bm{\theta}_j, \rho_j) - \mathbb{E}\big[ \overline{q}_i(X_i, \bm{\theta}_j, \rho_j) \big] \Big) + \frac{1}{n} \sum_{i=1}^n \Big( \mathbb{E}\big[ \overline{q}_i(X_i, \bm{\theta}_j, \rho_j) \big] - \mathbb{E}\big[ \hspace{0.5pt} \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}_j, \rho_j) \big] \Big) \\ &\leq \frac{1}{n} \sum_{i=1}^n \Big( \overline{q}_i(X_i, \bm{\theta}_j, \rho_j) - \mathbb{E}\big[ \overline{q}_i(X_i, \bm{\theta}_j, \rho_j) \big] \Big) + \varepsilon \end{align*}
となり, 同様に
\begin{align*} \inf_{\bm{\theta} \in \mathbb{B}(\bm{\theta}_j, \rho_j)} \frac{1}{n} \sum_{i=1}^n \Big( q_i(X_i, \bm{\theta}) - Q_i(\bm{\theta}) \Big) \geq \frac{1}{n} \sum_{i=1}^n \Big( \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}_j, \rho_j) - \mathbb{E}\big[ \hspace{0.5pt} \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}_j, \rho_j) \big] \Big) - \varepsilon \end{align*}
となる. 故に,
\begin{align*} 　　 &L_{n, j, \varepsilon} = \frac{1}{n} \sum_{i=1}^n \Big( \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}_j, \rho_j) - \mathbb{E}\big[ \hspace{0.5pt} \underline{q}_{\hspace{0.5pt}i}(X_i, \bm{\theta}_j, \rho_j) \big] \Big), \\ &U_{n, j, \varepsilon} = \frac{1}{n} \sum_{i=1}^n \Big( \overline{q}_i(X_i, \bm{\theta}_j, \rho_j) - \mathbb{E}\big[ \overline{q}_i(X_i, \bm{\theta}_j, \rho_j) \big] \Big) \end{align*}
とおくと,
\begin{align*} 　　 \min_{1 \leq j \leq J} L_{n, j, \varepsilon} - \varepsilon \leq \inf_{\bm{\theta} \in \Uptheta} \frac{1}{n} \sum_{i=1}^n \Big( q_i(X_i, \bm{\theta}) - Q_i(\bm{\theta}) \Big) \leq \sup_{\bm{\theta} \in \Uptheta} \frac{1}{n} \sum_{i=1}^n \Big( q_i(X_i, \bm{\theta}) - Q_i(\bm{\theta}) \Big) \leq \max_{1 \leq j \leq J} U_{n, j, \varepsilon} + \varepsilon \end{align*}
である.

さて,
\begin{align*} A_{n, \varepsilon} = \max_{1 \leq j \leq J} \max\big\{ |L_{n, j, \varepsilon}|, |U_{n, j, \varepsilon}| \big\} \end{align*}
とおけば,
\begin{align} \sup_{\bm{\theta} \in \Uptheta} \Bigg| \frac{1}{n} \sum_{i=1}^n \Big( q_i(X_i, \bm{\theta}) - Q_i(\bm{\theta}) \Big) \Bigg| \leq A_{n, \varepsilon} + \varepsilon \label{eq:2} \end{align}
である. 仮定[A2]より$A_{n, \varepsilon} \to 0$ a.s.であるから, 各$m\in\mathbb{N}$について
\begin{align*} \Omega_m = \Big\{ \omega\in\Omega\,\Big|\,\lim_{n\to\infty}A_{n,1/m}(\omega) = 0 \Big\} \end{align*}
と定めると, $\Omega_m\in\mathscr{F}$かつ$\mathbb{P}(\Omega_m) = 1$である. したがって,
\begin{align*} \Omega_0 = \bigcap_{m=1}^{\infty}\Omega_m \end{align*}
は可測であり,
\begin{align*} \mathbb{P}(\Omega_0) = 1 - \mathbb{P}\Bigg( \bigcup_{m=1}^{\infty}\Omega_m^c \Bigg) \geq 1 - \sum_{m=1}^\infty \mathbb{P}(\Omega_m^c) = 1 \end{align*}
である. 故に, 任意の$\omega\in\Omega_0$と各$m\in\mathbb{N}$について,
\begin{align*} \sup_{\bm{\theta} \in \Uptheta} \Bigg| \frac{1}{n} \sum_{i=1}^n \Big( q_i(X_i(\omega), \bm{\theta}) - Q_i(\bm{\theta}) \Big) \Bigg| \leq A_{n,1/m}(\omega)+\frac{1}{m} \end{align*}
であるから,
\begin{align*} \limsup_{n\to\infty} \sup_{\bm{\theta} \in \Uptheta} \Bigg| \frac{1}{n} \sum_{i=1}^n \Big( q_i(X_i(\omega), \bm{\theta}) - Q_i(\bm{\theta}) \Big) \Bigg| \leq \frac{1}{m}. \end{align*}
したがって, $m\to\infty$とすることにより
\begin{align*} \limsup_{n\to\infty} \sup_{\bm{\theta} \in \Uptheta} \Bigg| \frac{1}{n} \sum_{i=1}^n \Big( q_i(X_i, \bm{\theta}) - Q_i(\bm{\theta}) \Big) \Bigg| = 0 \quad \text{a.s.} \end{align*}
を得る. (証明終)

thm:1の仮定[3]は次の条件に置き換えられます.

仮定[3]の十分条件 (Andrewspaper1, Corollary 3)

次の2つの条件のうち, いずれかを仮定する.

任意の$x \in \mathscr{X}$に対して$\bm{\theta} \mapsto q_i(x, \bm{\theta}) p_i(x)$は$\Uptheta$上で$i$について一様に連続であり, 任意の$\bm{\theta} \in \Uptheta$および各$i \in \mathbb{N}$に対して$x \mapsto q_i(x, \bm{\theta})$は$\mathscr{A}/\mathscr{B}(\mathbb{R})$-可測である. また,
\begin{align*} \int_{\mathscr{X}} \sup_{i \in \mathbb{N}} \sup_{\bm{\theta} \in \Uptheta} \big| q_i(x, \bm{\theta}) \big| p_i(x) d\mu(x) < \infty. \end{align*}
任意の$x \in \mathscr{X}$に対して$\bm{\theta} \mapsto q_i(x, \bm{\theta})$は$\Uptheta$上で$i$について一様に連続かつ$\sup_{i \in \mathbb{N}} p_i(x) < \infty$であり, 任意の$\bm{\theta} \in \Uptheta$および各$i \in \mathbb{N}$に対して$x \mapsto q_i(x, \bm{\theta})$は$\mathscr{A}/\mathscr{B}(\mathbb{R})$-可測である. また,
\begin{align*} \int_{\mathscr{X}} \sup_{i \in \mathbb{N}} \sup_{\bm{\theta} \in \Uptheta} \big| q_i(x, \bm{\theta}) \big| p_i(x) d\mu(x) < \infty. \end{align*}

このとき, thm:1の仮定[1]の下で仮定[3]が成り立つ.

まず, 条件[ii]を仮定すると, 任意の$x \in \mathscr{X}$および任意の$\bm{\theta}, \widetilde{\bm{\theta}} \in\Uptheta$に対して
\begin{align*} 　　 \sup_{i\in\mathbb{N}} \big| q_i(x,\widetilde{\bm{\theta}})p_i(x) - q_i(x,\bm{\theta})p_i(x) \big| \leq \Big( \sup_{i\in\mathbb{N}} p_i(x) \Big) \sup_{i\in\mathbb{N}} \big| q_i(x,\widetilde{\bm{\theta}}) - q_i(x,\bm{\theta}) \big| \end{align*}
であるから, 条件[i]が成り立つ.

次に, 条件[i]を仮定する. コンパクト集合$\Uptheta$は可分であるから, 可算集合$D$が存在して$\cl(D) = \Uptheta$となる. 各$i \in \mathbb{N}$に対して任意に$x \in \mathscr{X} \setminus \{ x\,|\,p_i(x)=0 \}$を固定する. このとき, $\bm{\theta} \mapsto q_i(x, \bm{\theta})$は$\Uptheta$上連続であるから, 任意の$\bm{\theta} \in \Uptheta$および$\rho > 0$に対して
\begin{align*} \overline{q}_i(x, \bm{\theta}, \rho) = \sup_{\widetilde{\bm{\theta}} \in D \cap \mathbb{B}(\bm{\theta},\hspace{0.5pt}\rho)} q_i(x, \widetilde{\bm{\theta}}), \quad \underline{q}_{\hspace{0.5pt}i}(x, \bm{\theta}, \rho) = \inf_{\widetilde{\bm{\theta}} \in D \cap \mathbb{B}(\bm{\theta},\hspace{0.5pt}\rho)} q_i(x, \widetilde{\bm{\theta}}) \end{align*}
となる. したがって, $\{ x\,|\,p_i(x)=0 \}$上での関数の値を適当に定めれば, $x \mapsto \overline{q}_i(x, \bm{\theta}, \rho)$, $x \mapsto \underline{q}_{\hspace{0.5pt}i}(x, \bm{\theta}, \rho)$は$\mathscr{A}/\mathscr{B}(\mathbb{R})$-可測となる. このことに注意すると, 任意の$\bm{\theta} \in \Uptheta$に対して
\begin{align*} \limsup_{\rho \to 0} \sup_{n \in \mathbb{N}} \Bigg| \frac{1}{n} \sum_{i=1}^n \Big( \mathbb{E}\big[ \overline{q}_i(X_i, \bm{\theta}, \rho) \big] - \mathbb{E}\big[ q_i(X_i, \bm{\theta}) \big] \Big) \Bigg| &\leq \limsup_{\rho \to 0} \sup_{n \in \mathbb{N}} \frac{1}{n} \sum_{i=1}^n \int_{\mathscr{X}} \Big| \big( \overline{q}_i(x, \bm{\theta}, \rho) - q_i(x, \bm{\theta}) \big) p_i(x) \Big| d\mu(x) \\ &\leq \limsup_{\rho \to 0} \int_{\mathscr{X}} \sup_{i \in \mathbb{N}} \Big| \big( \overline{q}_i(x, \bm{\theta}, \rho) - q_i(x, \bm{\theta}) \big) p_i(x) \Big| d\mu(x) \\ &= \int_{\mathscr{X}} \limsup_{\rho \to 0} \sup_{i \in \mathbb{N}} \Big| \big( \overline{q}_i(x, \bm{\theta}, \rho) - q_i(x, \bm{\theta}) \big) p_i(x) \Big| d\mu(x) \\ &= 0. \end{align*}
ここで, 第3行の等号はLebesgueの収束定理, 第4行の等号は$\bm{\theta} \mapsto q_i(x, \bm{\theta}) p_i(x)$の$i$に関する一様連続性による. $\overline{q}_i(x, \bm{\theta}, \rho)$を$\underline{q}_{\hspace{0.5pt}i}(x, \bm{\theta}, \rho)$に置き換えた等式も同様に示せる. (証明終)

次の命題はパラメータ空間の各点での標本平均の概収束を保証します.

エルゴード定理 (Stoutbook1, Theorem 3.5.7)

$\{ X_i \}_{i \in \mathbb{N}}$は強定常かつエルゴード的で, $\mathbb{E}[|X_1|] < \infty$とする. このとき,
\begin{align} \frac{1}{n} \sum_{i=1}^n X_i \to \mathbb{E}[X_1] \quad \text{a.s.} \end{align}
が成り立つ.

以上の結果からシンプルな形の一様な大数の法則が得られます.

定理1

$\{ X_i \}$は強定常かつエルゴード的とする. 次の4つの条件を仮定する.

$\Uptheta$はコンパクト.
各$\bm{\theta} \in \Uptheta$に対して$x \mapsto q_1(x, \bm{\theta})$は$\mathscr{A}/\mathscr{B}(\mathbb{R})$-可測.
各$x \in \mathscr{X}$に対して$\bm{\theta} \mapsto q_1(x, \bm{\theta}) $は$\Uptheta$上連続.
関数$M: \mathscr{X} \to \mathbb{R}_+$で$\mathbb{E}[M(X_1)] < \infty$なるものが存在して, 任意の$(x, \bm{\theta}) \in \mathscr{X} \times \Uptheta$に対して$|q_1(x, \bm{\theta})| \leq M(x)$.

このとき, 写像$\bm{\theta} \mapsto \mathbb{E}[q_1(X_1, \bm{\theta})]$は$\Uptheta$上連続であり,
\begin{align*} \lim_{n \to \infty} \sup_{\bm{\theta} \in \Uptheta} \Bigg| \frac{1}{n} \sum_{i=1}^n q_1(X_i, \bm{\theta}) - \mathbb{E}\big[ q_1(X_1, \bm{\theta}) \big] \Bigg| = 0 \quad \text{a.s.} \end{align*}
が成り立つ.

定理1の仮定[A2]および[A3]が成り立つことを確認すればよい. 任意の$\bm{\theta} \in \Uptheta$に対して$\{ q_1(X_i, \bm{\theta}) \}$は強定常かつエルゴード的であるから, 命題3 (エルゴード定理) より[A2]が成り立つ. また, 密度関数$p_1$はほとんど至る所で有界であるから, $\{ x\,|\,p_i(x)=\infty \}$上での関数の値を適当に定めれば, 任意の$x\in\mathscr{X}$に対して$p_1(x) < \infty$となる. したがって, 命題2 より[A3]が成り立つ.