極限と連続から統計的漸近論へ～ε-δ 論法、確率収束、デルタ法～
1. 本稿の目的
「$x$ を $a$ に限りなく近づけると $f(x)$ が $L$ に近づく」という素朴な表現は導入としては有用だが、関数空間の構造や確率変数の漸近挙動を論じる場面では、この曖昧さが致命的な論理的飛躍を生む。本稿の主題は、この直観を「許容誤差 $\varepsilon$」と「入力の制御幅 $\delta$」による明示的な不等式へ翻訳する ε-δ 論法である。これを軸に、実数上の極限・連続性（第 2–5 節）を確率変数の収束（第 6 節）へ、さらに漸近推論の中核をなす連続写像定理・スルツキーの定理・デルタ法（第 7–9 節）へと段階的に接続し、最後に無限次元への展望（第 10 節）を述べる。
2. 距離空間と実数上の極限・連続性
2.1 距離・開球・開集合
$\mathbb{R}$ の二点 $x,y$ の距離を絶対値により $d(x,y)=|x-y|$ と定める。点 $a$ を中心とする半径 $r>0$ の開球（開区間）を
$$
B(a;r)=\{x\in\mathbb{R}\mid |x-a|< r\}
$$
と書く。集合 $U\subset\mathbb{R}$ が開集合であるとは、$U$ の任意の点 $x$ に対して、ある $r>0$ が存在して $B(x;r)\subset U$ となることをいう。ε-δ 論法に現れる $\varepsilon,\delta$ は、まさにこれらの開球の半径を指定するパラメータにほかならない。
2.2 ε-δ による極限と連続性の定義
極限の存在とは、「相手がどれほど厳しい許容誤差 $\varepsilon$ を提示しても、こちらは常に制御幅 $\delta$ を適切に選び、出力を目的値から $\varepsilon$ 以内に封じ込められる」という論理的主張である。
関数 $f:\mathbb{R}\to\mathbb{R}$ が点 $a$ で極限値 $L$ をもつ（$\lim_{x\to a}f(x)=L$）とは、次が成り立つことをいう。
$$
\forall\varepsilon>0,\ \exists\delta>0\ \text{s.t.}\ \forall x\in\mathbb{R},\quad 0<|x-a|<\delta \implies |f(x)-L|<\varepsilon .
$$
![極限の定義:どんな許容誤差 !FORMULA[26][1891918441][0] に対しても、入力の制御幅 !FORMULA[27][1322145316][0] を選び直せる。](https://firebasestorage.googleapis.com/v0/b/mathlog-361213.appspot.com/o/uploads%2Fmathdown%2FuXBvSZ25BaBctSCfsrTX.png?alt=media)
極限の定義:どんな許容誤差 $\varepsilon$ に対しても、入力の制御幅 $\delta$ を選び直せる。
条件 $0<|x-a|$ は $x=a$ を意図的に除外している。極限は $a$ の近傍における $f$ の振る舞いのみを規定するものであり、$f(a)$ の値（あるいは $f(a)$ が定義されているか否か）には一切依存しない。
$f$ が点 $a$ で連続であるとは $\lim_{x\to a}f(x)=f(a)$、すなわち
$$
\forall\varepsilon>0,\ \exists\delta>0\ \text{s.t.}\ \forall x\in\mathbb{R},\quad |x-a|<\delta \implies |f(x)-f(a)|<\varepsilon
$$
が成り立つことをいう。
ここでは極限の定義にあった下限 $0<|x-a|$ が外れている。$x=a$ のときは $|f(a)-f(a)|=0<\varepsilon$ が任意の $\varepsilon>0$ に対し自明に成り立つためである。
2.3 連続性の大域的含意：Cauchy の関数方程式
局所的な連続性が関数全体の構造をどれほど強く決定するかを示す典型例が、加法性のみを課す Cauchy の関数方程式 $f(x+y)=f(x)+f(y)$ である。
$f:\mathbb{R}\to\mathbb{R}$ が加法的（$f(x+y)=f(x)+f(y)$）かつ少なくとも 1 点で連続ならば、$c=f(1)$ として $f(x)=cx$ である。
まず加法性から $f(0)=0$、および任意の有理数 $q$ に対して $f(q)=qf(1)$ が代数的操作のみで従う。
次に「1 点での連続性」が「全点での連続性」を導くことを示す。$f$ が点 $x_0$ で連続であるとする。任意の $h$ について加法性から
$$
f(h)=f(x_0+h)-f(x_0)
$$
が成り立つ。$h\to0$ とすると $x_0+h\to x_0$ であり、$x_0$ における連続性から $f(x_0+h)\to f(x_0)$ となるので、
$$
f(h)=f(x_0+h)-f(x_0)\longrightarrow 0=f(0)
$$
を得る。すなわち $f$ は $0$ で連続である。ゆえに任意の $x$ で $\lim_{h\to0}f(x+h)=f(x)+\lim_{h\to0}f(h)=f(x)$ となり、$f$ は全点で連続である。
最後に、任意の実数 $x$ に収束する有理数列 $\{q_n\}$ をとると、連続性による極限と関数適用の交換から
$$
f(x)=f\left(\lim_{n\to\infty}q_n\right)=\lim_{n\to\infty}f(q_n)=\lim_{n\to\infty}q_n f(1)=x f(1).
$$
$\blacksquare$
連続性によるコーシーの関数方程式の解の決定
なお連続性を課さなければ、選択公理（$\mathbb{Q}$ 上の $\mathbb{R}$ のハメル基底）を用いて、加法的でありながら至る所不連続な非線形解を構成できる。連続性は微小変化を規定することで、こうした「暴走解」を排除する数理的な楔として働いている。
3. 病的な関数：ディリクレ関数とトマエ関数
ε-δ 論法の威力は、グラフの直観を拒むような「病的な関数（pathological functions）」の連続性・不連続性を厳密に判定する場面で際立つ。
| 関数 | 連続点 | 不連続点 | リーマン積分可能性 |
|---|---|---|---|
| ディリクレ関数 $D$ | なし（至る所不連続） | $\mathbb{R}$ 全体（稠密） | 不可能（上積分と下積分が不一致） |
| トマエ関数 $t$ | すべての無理数 | すべての有理数 | 可能（任意の区間で積分値は $0$） |
3.1 ディリクレ関数
$$ D(x)=\begin{cases}1, & x\in\mathbb{Q},\\ 0, & x\in\mathbb{R}\setminus\mathbb{Q}.\end{cases} $$
$D$ は $\mathbb{R}$ のいかなる点でも連続でない。
任意の点 $a\in\mathbb{R}$ をとり、許容誤差を $\varepsilon=\tfrac{1}{2}$ とする。有理数と無理数はともに稠密なので、どれほど小さい $\delta>0$ に対しても近傍 $(a-\delta,a+\delta)$ の中に $D=1$ となる有理数と $D=0$ となる無理数が同時に存在する。ゆえに $D(a)$ が $0,1$ のいずれであっても、その近傍には $|D(x)-D(a)|=1>\tfrac{1}{2}$ を満たす点が必ず存在し、$|D(x)-D(a)|<\varepsilon$ を保証する $\delta$ は取れない。$\blacksquare$
さらに、任意の分割に対して上リーマン和は常に区間幅の総和、下リーマン和は常に $0$ となり両者が一致しないため、$D$ はリーマン積分不可能である。
本補足は本文の後続議論には用いない（初読時には読み飛ばしてもよい）。以下のベール階層に関する記述では、ベール第 1 級関数を「連続関数列の各点極限として表される関数」と定義し、ベール第 2 級を「ベール第 1 級関数列の各点極限として表される関数」の意味で用いる。
各 $k$ について
$$
g_k(x)=\lim_{j\to\infty}\bigl(\cos(k!\pi x)\bigr)^{2j}
$$
とおく。$|\cos(k!\pi x)|=1$ となるのは $k!x\in\mathbb{Z}$ のときに限り、それ以外では $|\cos(k!\pi x)|<1$ だから、$g_k(x)=\mathbf{1}_{\{x:k!x\in\mathbb{Z}\}}(x)$（すなわち $\tfrac{1}{k!}\mathbb{Z}$ の指示関数）である。この $g_k$ は連続関数列 $(\cos(k!\pi x))^{2j}$（$j\to\infty$）の各点極限として表されているので、定義よりベール第 1 級である。さらに、有理数 $x=p/q$（既約）については $k\ge q$ で $g_k(x)=1$ となり、無理数 $x$ については常に $g_k(x)=0$ であるから、
$$
D(x)=\lim_{k\to\infty}g_k(x)
$$
が成り立つ。よって $D$ はベール第 1 級関数列 $\{g_k\}$ の各点極限であり、ベール第 2 級に属する。一方、実数直線上のベール第 1 級関数の連続点全体は稠密な $G_\delta$ 集合をなすことが知られているため、連続点をまったくもたない $D$ はベール第 1 級ではない。以上より、$D$ はベール第 2 級に属するが第 1 級ではない。
3.2 トマエ関数
既約分数表示 $x=\tfrac{p}{q}$（$q\ge 1,\ \gcd(p,q)=1$）に対し、
$$
t(x)=\begin{cases}\dfrac{1}{q}, & x=\dfrac{p}{q}\in\mathbb{Q},\\[2mm] 0, & x\in\mathbb{R}\setminus\mathbb{Q}.\end{cases}
$$
特に $0=0/1$ より $t(0)=1$ である。
$t$ はすべての無理数で連続であり、すべての有理数で不連続である。
無理数における連続性を ε-δ で示す（有理数での不連続性は下の注意で述べる）。無理数 $b$ と許容誤差 $\varepsilon>0$ を固定する。$t(b)=0$ ゆえ、目標は適当な $\delta>0$ に対し $|x-b|<\delta \implies |t(x)|<\varepsilon$ を示すことである。
アルキメデスの性質により $\tfrac{1}{N}<\varepsilon$ を満たす自然数 $N$ をとる。区間 $(b-1,b+1)$ に含まれ、かつ分母が $N$ 以下の既約分数 $\tfrac{p}{q}$（$q\le N$）を数え上げる。各 $q\in\{1,\dots,N\}$ に対し、$\tfrac{p}{q}\in(b-1,b+1)$ となる整数 $p$ は $q(b-1)< p< q(b+1)$ を満たすものに限られ、その個数は有限である。ゆえにこれらをすべて集めた集合 $R=\{r_1,\dots,r_k\}$ は有限集合となる（$(b-1,b+1)$ は長さ $2$ の区間ゆえ、分母 $1$ の有理数すなわち整数を必ず含み、$R$ は空にはならない）。
$b$ は無理数だから各 $r_i$ と一致せず $|b-r_i|>0$。そこで、有限個の正数と $1$ の最小値
$$
\delta=\min\Bigl\{1,\ \tfrac{1}{2}\min_{1\le i\le k}|b-r_i|\Bigr\}>0
$$
をとる。ここで $1$ 以下に制限したのは、$|x-b|<\delta$ から $x\in(b-1,b+1)$ を保証し、列挙対象の区間 $(b-1,b+1)$ の外にある分母 $N$ 以下の有理数が紛れ込むのを防ぐためである。いま $|x-b|<\delta$ を満たす任意の $x$ をとる。$\delta\le 1$ より $x\in(b-1,b+1)$ であり、また各 $i$ について $|x-b|<\delta\le\tfrac{1}{2}|b-r_i|<|b-r_i|$ となるので、$x$ はどの $r_i$ とも一致しない（半分を取ったことで、開球であることに頼らずとも不一致が明示的に従う）。$x$ が無理数なら $t(x)=0<\varepsilon$。$x$ が有理数（既約分数 $\tfrac{p}{q}$）なら、$x\in(b-1,b+1)$ かつ $x\neq r_i$ ゆえ分母は $N$ 以下ではありえず $q>N$、したがって $t(x)=\tfrac{1}{q}<\tfrac{1}{N}<\varepsilon$。以上より $|t(x)-t(b)|<\varepsilon$ が成り立ち、無理数 $b$ での連続性が示された。$\blacksquare$
トマエ関数 — 無理数で連続になる仕組み
有理数 $a=\tfrac{p}{q}$ では $t(a)=\tfrac{1}{q}>0$ である。ここで $\varepsilon=\tfrac{1}{2q}$ とおく。任意の $\delta>0$ に対して、無理数の稠密性より $0<|x-a|<\delta$ を満たす無理数 $x$ が取れる。このとき $t(x)=0$ だから
$$
|t(x)-t(a)|=\frac{1}{q}>\frac{1}{2q}=\varepsilon .
$$
したがって、この $\varepsilon$ に対して連続性の条件を満たす $\delta$ は存在せず、$t$ は $a$ で不連続である。
本補足は本文の後続議論には用いない（初読時には読み飛ばしてもよい）。以下は厳密な非標準解析の証明ではなく、上の ε-δ 証明を移行原理の観点から直観的に読み替えたものである（厳密化には、超有理数の既約表示、および分母を与える写像を内部集合として扱う点を明示する必要がある）。超実数体 ${}^{*}\mathbb{R}$ へ $t$ を移す。標準的な無理数 $c$ に無限に近い超有理数 $q$（その既約表示の分母を $n$ とする）を考えると、$n$ が有限の標準整数であれば、そのような分母をもつ有理数は $c$ から（$c$ に依存する）標準的な正の距離以上離れてしまう。ゆえに $n$ は無限大超整数でなければならず、$t^{*}(q)=1/n\approx 0=t(c)$。$c$ に無限に近いすべての点で値が無限小になるため、非標準的連続性の判定基準により $c$ で連続である。
本補足は本文の後続議論には用いない（初読時には読み飛ばしてもよい）。本節で必要なのは、連続点集合は必ず $G_\delta$ である、という片方向の事実だけである。一般に、任意の関数 $f:\mathbb{R}\to\mathbb{R}$ の連続点全体は $G_\delta$ 集合（可算個の開集合の共通部分）をなす。したがって、ある集合が関数の連続点集合として実現されるためには、少なくとも $G_\delta$ である必要がある。なお、実数直線上では逆に、任意の $G_\delta$ 集合はある実関数の連続点集合として実現できることも知られているが、以下では用いない。
無理数全体 $\mathbb{R}\setminus\mathbb{Q}$ は
$$
\mathbb{R}\setminus\mathbb{Q}=\bigcap_{q\in\mathbb{Q}}\bigl(\mathbb{R}\setminus\{q\}\bigr)
$$
と書けるので $G_\delta$ 集合であり、トマエ関数はまさにこの集合を連続点集合として実現している。
一方、有理数全体 $\mathbb{Q}$ は $\mathbb{R}$ の $G_\delta$ 集合ではない。もし $\mathbb{Q}=\bigcap_n U_n$（各 $U_n$ は開集合）と書けたとすると、各 $U_n$ は稠密集合 $\mathbb{Q}$ を含むので稠密開集合である。また各 $q\in\mathbb{Q}$ に対して $\mathbb{R}\setminus\{q\}$ もまた稠密開集合である。これら可算個の稠密開集合の共通部分
$$
\Bigl(\bigcap_n U_n\Bigr)\cap\Bigl(\bigcap_{q\in\mathbb{Q}}(\mathbb{R}\setminus\{q\})\Bigr)
$$
は、ベールの範疇定理（$\mathbb{R}$ では稠密開集合の可算共通部分は稠密で空でない）により空でないはずである。しかしこの共通部分は $\mathbb{Q}\cap(\mathbb{R}\setminus\mathbb{Q})=\varnothing$ に等しく、矛盾する。ゆえに $\mathbb{Q}$ は $G_\delta$ ではなく、連続点集合がちょうど $\mathbb{Q}$ となる関数は存在しない。トマエ関数がもつ有理数・無理数間の非対称性は、この実数の位相構造に根ざしている。
4. 連続関数の大域的定理
ε-δ で構築された局所的な連続性は、コンパクト性・連結性と結びつくことで大域的定理を生む。これらは最尤推定量の存在（Weierstrass の極値定理）や方程式の解の存在（中間値の定理）の数学的基盤である。
4.1 ボルツァーノ–ワイエルシュトラスの定理
$\mathbb{R}$ の有界な数列は、収束する部分列をもつ。
まず、任意の実数列は単調な部分列をもつことを示す。添字 $n$ が「$m>n$ なるすべての $m$ で $x_n\ge x_m$」を満たすとき、$n$ を峰（peak）と呼ぶ。峰が無限個あれば、それらの添字 $n_1< n_2<\cdots$ に沿って $x_{n_1}\ge x_{n_2}\ge\cdots$ となり非増加部分列を得る。峰が有限個なら、最後の峰より大きい添字 $N_1$ から始めると、$N_1$ は峰でないので $x_{N_2}>x_{N_1}$ なる $N_2>N_1$ が存在し、以下同様にして狭義増加部分列を得る。いずれの場合も単調部分列が存在する。
次に、有界単調列は実数の完備性（上限性質）により収束する。よって有界列は収束する部分列をもつ。$\blacksquare$
4.2 Weierstrass の極値定理
推定において対数尤度関数などの目的関数が最大値をもつことを保証する理論的根拠である。
有界閉区間 $K=[a,b]$ 上の連続関数 $f:K\to\mathbb{R}$ は $K$ 上で最大値と最小値をとる。すなわちある $c,d\in K$ が存在し、任意の $x\in K$ に対して $f(d)\le f(x)\le f(c)$ となる。
（有界性）背理法による。$f(K)$ が上に有界でないと仮定すると、各自然数 $n$ に対して $f(x_n)>n$ となる点 $x_n\in K$ が取れる。$\{x_n\}$ は有界だから、ボルツァーノ–ワイエルシュトラスの定理より収束部分列 $\{x_{n_k}\}$ をもつ。$K=[a,b]$ は閉集合であり、$K$ 内の点列の収束先は再び $K$ に属するから、その極限 $c$ は $c\in K$ を満たす。ここで $f:K\to\mathbb{R}$ であるから $f(c)$ は有限の実数であり、$f$ の $c$ での連続性から $f(x_{n_k})\to f(c)$ となるはずである。しかし前提より $f(x_{n_k})>n_k\to\infty$ となり、有限値 $f(c)$ には収束できず矛盾する。ゆえに $f(K)$ は上に有界である。
（達成）$S=\sup f(K)$ とおく。上限の定義から、各自然数 $n$ に対して $S-\tfrac{1}{n}< f(y_n)\le S$ を満たす $y_n\in K$ が取れる。再び同定理で収束部分列 $\{y_{n_k}\}$ をとり、その極限 $c$ は上と同じ理由で $c\in K$ を満たす。連続性より $f(c)=\lim_{k\to\infty}f(y_{n_k})=S$。よって $f$ は $c$ で最大値 $S$ をとる。最小値は $-f$ に同じ議論を適用すればよい。$\blacksquare$
4.3 中間値の定理
空間の「連結性」が連続写像によって保存されることの表れである。
$f$ が $[a,b]$ で連続かつ $f(a)< f(b)$ のとき、$f(a)<\gamma< f(b)$ を満たす任意の $\gamma$ に対して、$f(\xi)=\gamma$ となる $\xi\in(a,b)$ が少なくとも一つ存在する。
$S=\{x\in[a,b]\mid f(x)\le\gamma\}$ とおく。$f(a)<\gamma$ より $a\in S$ ゆえ空でなく、$b$ で上に有界だから $\xi=\sup S\in[a,b]$ が存在する。
まず $\xi$ が区間の内部にあることを確認する。$f(a)<\gamma$ と $a$ での連続性より、$a$ の十分小さな右近傍では $f<\gamma$ が成り立ち、この近傍は $S$ に含まれるので $\xi>a$。同様に $f(b)>\gamma$ と $b$ での連続性より、$b$ の十分小さな左近傍では $f>\gamma$ が成り立ち、この近傍は $S$ と交わらないので $\xi< b$。ゆえに $\xi\in(a,b)$ である。
この $\xi$ に背理法を適用する。もし $f(\xi)>\gamma$ ならば、連続性より $\xi$ のある近傍 $(\xi-\delta,\xi+\delta)$ 全体で $f(x)>\gamma$ となる。これは区間 $(\xi-\delta,\xi]$ 内に $S$ の元が存在しないことを意味し（$\xi=\sup S$ ゆえ $\xi$ より大きい $S$ の元も存在しない）、$\xi$ より真に小さい $\xi-\delta$ もまた $S$ の上界となる。これは $\xi$ が $S$ の最小上界（$\xi=\sup S$）であることに矛盾する。もし $f(\xi)<\gamma$ ならば、連続性より $\xi$ のある近傍全体で $f<\gamma$ となる。$\xi< b$ ゆえこの近傍には $\xi$ より大きい定義域内の点が存在し、それは $S$ に属するので $\xi=\sup S$ に矛盾する。ゆえに $f(\xi)=\gamma$ が成り立つ。$\blacksquare$
5. 関数列の一様収束と数列の漸近評価
極限は、単一の関数の入力を動かすだけでなく、関数の列 $\{f_n\}$ が別の関数 $f$ に近づく状況へ一般化される。「誤差 $\varepsilon$ を抑える $N$ が入力 $x$ に依存するか否か」で収束の強さが決定的に変わる。本節ではまず関数列の一様収束を整理し、続いて、次節以降で中心的役割を果たす $\sqrt{n}$ スケールの漸近評価（$\sqrt{n}$-一致性など）にも同じ $n^{-1/2}$ という規格化が現れることを、数列の漸近挙動を通して素朴な形で観察する。
5.1 各点収束と一様収束
各点収束：各 $x$ に対して $\forall\varepsilon>0,\ \exists N,\ \forall n\ge N,\ |f_n(x)-f(x)|<\varepsilon$（$N$ は $x$ に依存してよい）。
一様収束：$\forall\varepsilon>0,\ \exists N,\ \forall x,\ \forall n\ge N,\ |f_n(x)-f(x)|<\varepsilon$（$N$ は $x$ に依存しない）。
各点収束 vs 一様収束 — ε チューブと N の x 依存
一様収束のもとでは、連続関数列の極限もまた連続となる。また有界区間 $[a,b]$ 上で一様収束するときは、極限と積分の交換
$$
\lim_{n\to\infty}\int_a^b f_n=\int_a^b \lim_{n\to\infty} f_n
$$
が正当化される（非有界領域では一様収束のみでは不十分で、たとえば $f_n=\tfrac{1}{n}\mathbf{1}_{[0,n]}$ は $0$ へ一様収束するが $\int_{\mathbb{R}}f_n=1\not\to0$ となる）。一方、極限と微分の交換は、$f_n$ 自身の一様収束だけでは不十分だが、導関数列 $f_n'$ が一様収束し、かつ 1 点で $\{f_n\}$ が収束すれば、項別微分 $\lim_{n\to\infty}f_n'=(\lim_{n\to\infty}f_n)'$ が正当化される。近似において一様収束性が担保されないと、漸近的な誤差評価は破綻し得る。
5.2 ウォリスの公式と単純ランダムウォーク
離散的な二項係数の極限が確率的現象を記述する例を挙げる。スターリングの公式から、中心二項係数について次が従う。
$$ \lim_{n\to\infty}\frac{\sqrt{n}}{2^{2n}}\binom{2n}{n}=\frac{1}{\sqrt{\pi}},\qquad\text{すなわち}\quad \binom{2n}{n}\sim\frac{4^n}{\sqrt{\pi n}}. $$
公正なコインを $2n$ 回投げて表がちょうど $n$ 回出る確率は $\dfrac{1}{2^{2n}}\dbinom{2n}{n}$ で与えられる。上の評価から、この確率は $n\to\infty$ で $\dfrac{1}{\sqrt{\pi n}}$ のオーダー、すなわち $0$ に収束し、その収束速度は $n^{-1/2}$ である。この例は、離散的な確率量においても $n^{-1/2}$ という自然なスケールが現れることを示している。
ただし、この中心二項係数の評価は一点確率（$\mathbb{P}(S_{2n}=0)$）の局所的な漸近であり、標本平均の中心極限定理における $\sqrt{n}(\bar{X}_n-\mu)$ の非退化極限とは論理的には別の主張である。後者では、独立同分布な和の分散が $n$ に比例し、平均の分散が $1/n$ に縮むことが $\sqrt{n}$ 規格化の直接の理由となる。したがって本例は、後に現れる $\sqrt{n}$ 規格化を直接証明するものではない。しかし、独立な試行を多数重ねたとき、中心付近の確率質量や揺らぎのスケールに $n^{-1/2}$ が現れることを示す初等的な前触れにはなっている。次節以降では、この発想を一般の確率変数列の収束概念として定式化していく。
6. 確率変数の収束
実数上の確定的な極限を、確率空間 $(\Omega,\mathcal{F},\mathbb{P})$ 上の確率変数列 $\{X_n\}$ の収束へ翻訳する。求める強さに応じて収束はいくつかの階層に分かれる。以下では、確率変数 $X,X_n$ の累積分布関数をそれぞれ $F,F_n$ と書く。
| 収束 | 記法 | 定義 | 主な応用 |
|---|---|---|---|
| 概収束 | $X_n\xrightarrow{\mathrm{a.s.}}X$ | $\mathbb{P}\bigl(\{\omega:\lim_{n\to\infty}X_n(\omega)=X(\omega)\}\bigr)=1$ | 強大数の法則 |
| 確率収束 | $X_n\xrightarrow{p}X$ | 任意の $\varepsilon>0$ で $\mathbb{P}(\lvert X_n-X\rvert>\varepsilon)\to0$ | 弱大数の法則 |
| $L^2$ 収束 | $X_n\xrightarrow{L^2}X$ | $\mathbb{E}\bigl[\lvert X_n-X\rvert^2\bigr]\to0$ | 分散評価・射影 |
| 分布収束 | $X_n\xrightarrow{d}X$ | $F$ の連続点で $F_n(x)\to F(x)$ | 中心極限定理・検定 |
これらの間には、$X_n\xrightarrow{\mathrm{a.s.}}X\Rightarrow X_n\xrightarrow{p}X$、$X_n\xrightarrow{L^2}X\Rightarrow X_n\xrightarrow{p}X$（チェビシェフの不等式による）、$X_n\xrightarrow{p}X\Rightarrow X_n\xrightarrow{d}X$ が成り立つ（逆は一般には不成立）。ただし極限が定数 $c$ のときに限り、$X_n\xrightarrow{d}c\iff X_n\xrightarrow{p}c$ が成り立つ。
より一般には $p\ge1$ に対する $L^p$ 収束（$\mathbb{E}[\lvert X_n-X\rvert^p]\to0$）を考えられ、$L^p\Rightarrow p$ が成り立つが、本稿では分散評価や二乗平均誤差と直結する $L^2$ 収束のみを表に掲げる。なお、概収束・確率収束・$L^2$ 収束は $X_n,X$ が同一の確率空間上に定義されていることを要するのに対し、分布収束は各 $X_n,X$ の分布のみで定義され、同一空間上にある必要はない。
6.1 確率収束と大数の法則
確率収束は、ε-δ の $\varepsilon$ が「確率変数間の距離の許容誤差」としてそのまま現れる概念である。任意の $\varepsilon>0$ に対し
$$
\lim_{n\to\infty}\mathbb{P}(|X_n-X|>\varepsilon)=0.
$$
これは、十分大きな $n$ を確保すれば $X_n$ が $X$ の $\varepsilon$-近傍から外れる確率をゼロに近づけられることを意味する。
![確率収束: !FORMULA[392][432211172][0]](https://firebasestorage.googleapis.com/v0/b/mathlog-361213.appspot.com/o/uploads%2Fmathdown%2FXDz6l1ppLG7risZIkTNE.gif?alt=media)
確率収束: $\mathbb{P}(|X_n-X|>\varepsilon)→ 0$
（弱）大数の法則は、標本平均が真の母平均へ確率収束することを主張する。
6.2 分布収束・ポートマントー・緊密性
分布収束（弱収束）は、確率変数そのものではなく、その分布（ヒストグラムの形状）が極限分布に近づくことを意味する。ポートマントーの定理は分布収束のいくつかの同値条件を与えるが、その一つは、$\mathbb{R}$ 値確率変数に対して、任意の有界連続関数 $h:\mathbb{R}\to\mathbb{R}$ について
$$
\lim_{n\to\infty}\mathbb{E}[h(X_n)]=\mathbb{E}[h(X)]
$$
が成り立つことである（$h$ は有界連続なので、これらの期待値は常に有限である。他に、開集合・閉集合に関する $\liminf,\limsup$ 条件などが同値な特徴づけを与える）。
無限次元空間や一般の距離空間では、「確率の逃散」を防ぐ緊密性が要となる。ここで二種類の緊密性を区別しておく。
一つは単一の確率測度の緊密性（内部正則性）である。$\mathbb{R}$ 上では、十分大きな $M$ を取れば $\mathbb{P}(|X|>M)$ を任意に小さくできるため、これは分布関数を用いて比較的直接に従う。より一般に Polish 空間上の単一の確率測度についても、ウラムの定理により緊密性が保証される。次節の連続写像定理の証明では、この単一測度の緊密性のみを用いる。
もう一つは確率測度の族の一様緊密性である。Polish 空間上のプロホロフの定理は、確率測度の族 $\mathcal{P}$ が一様タイト（任意の $\varepsilon>0$ に対し、共通のコンパクト集合 $K_\varepsilon$ が存在し、族のすべての測度 $P\in\mathcal{P}$ について $P(K_\varepsilon)\ge 1-\varepsilon$ を満たす）ならば、弱収束位相に関して相対コンパクト（収束部分列をもつ）であることを主張する。これは数列に対するボルツァーノ–ワイエルシュトラスの定理の測度版であり、族の相対コンパクト性が本質的に効いてくるのは第 10 節の無限次元漸近論である。
7. 連続写像定理
「推定量が真値へ収束するなら、それに連続関数を施した量も対応する値へ収束するか」という問いに答えるのが連続写像定理（CMT）であり、連続性の定義そのもの（合成による極限の保存）を確率空間の収束へ拡張したものである。
まず、一般形を標準定理として掲げる。
$g:\mathbb{R}^k\to\mathbb{R}^m$ を Borel 可測関数とし、その不連続点集合を $D_g$ とする。極限確率変数 $X$ が $\mathbb{P}(X\in D_g)=0$ を満たすとする。このとき、概収束・確率収束については $X_n,X$ が同一の確率空間上に定義されているものとして、収束
$$
X_n\xrightarrow{\mathrm{a.s.}}X,\qquad X_n\xrightarrow{p}X,\qquad X_n\xrightarrow{d}X
$$
のそれぞれから、同じ様式の収束、すなわちそれぞれ
$$
g(X_n)\xrightarrow{\mathrm{a.s.}}g(X),\qquad g(X_n)\xrightarrow{p}g(X),\qquad g(X_n)\xrightarrow{d}g(X)
$$
が従う。
この一般形は標準的な結果であり、その完全な証明はポートマントーの定理などを用いた弱収束論に属する。特に分布収束版は Portmanteau 型の議論を要し、確率収束版も「$g$ が至る所連続」から「$X$ がほとんど確実に入る点でのみ連続」へ拡張するには追加の近似論法を要する。本稿では一般形の証明は与えず、標準定理として引用するにとどめる。
以下では、そのうち最も直観的な特殊形を取り出し、初等的に証明する。
$g:\mathbb{R}\to\mathbb{R}$ が $\mathbb{R}$ 上で連続であり、$X_n\xrightarrow{p}X$ ならば、$g(X_n)\xrightarrow{p}g(X)$ である。
任意の $\varepsilon>0,\ \eta>0$ に対し、十分大きい $N$ をとれば、すべての $n\ge N$ で $\mathbb{P}(|g(X_n)-g(X)|>\varepsilon)\le\eta$ となることを示せばよい。
（$X$ の裾確率の制御）$X$ は実数値確率変数だから、分布関数の性質より、十分大きな $M$ に対して有界閉区間 $K=[-M,M]$ をとれば $\mathbb{P}(X\notin K)<\tfrac{\eta}{2}$ とできる。これは単一の確率測度の緊密性（第 6.2 節）に相当するが、ここで用いるのはこの初等的な裾確率評価だけであり、確率測度の族に関するプロホロフの定理とは別物である。
（一様連続性）$g$ は $K'=[-M-1,M+1]$ 上で連続であり $K'$ はコンパクトだから、ハイネ–カントールの定理により制限 $g|_{K'}$ は一様連続である。したがってある $\delta\in(0,1]$ が存在して、$u,v\in K'$ かつ $|u-v|<\delta$ ならば $|g(u)-g(v)|<\varepsilon$ となる。特に、$X\in K=[-M,M]$ かつ $|X_n-X|<\delta$ ならば $X_n\in K'$ であるから、$|g(X_n)-g(X)|<\varepsilon$ が従う。
（事象の分解）$|g(X_n)-g(X)|>\varepsilon$ が起こり得るのは、「$X\in K$ かつ $|X_n-X|<\delta$」の否定が成り立つ場合に限る。ゆえに
$$
\{|g(X_n)-g(X)|>\varepsilon\}\subseteq\{|X_n-X|\ge\delta\}\cup\{X\notin K\},
$$
確率の劣加法性から
$$
\mathbb{P}(|g(X_n)-g(X)|>\varepsilon)\le \mathbb{P}(|X_n-X|\ge\delta)+\mathbb{P}(X\notin K).
$$
（極限移行）確率収束の定義は通常 $>$ を用いた不等式で書かれるため、$\ge\delta$ をそのまま扱う代わりに $\{|X_n-X|\ge\delta\}\subseteq\{|X_n-X|>\delta/2\}$ を用いる。仮定 $X_n\xrightarrow{p}X$ から $\mathbb{P}(|X_n-X|>\delta/2)\to0$ であり、固定した $\delta>0$ に対し十分大きい $N$ をとれば、すべての $n\ge N$ で第 1 項は $\tfrac{\eta}{2}$ 未満となる。第 2 項は常に $\tfrac{\eta}{2}$ 未満。ゆえに和は $\eta$ 以下となり、$\eta$ は任意に小さく取れるので $g(X_n)\xrightarrow{p}g(X)$。$\blacksquare$
8. スルツキーの定理
CMT を応用し、分布収束する列と定数へ確率収束する列の四則演算の漸近を定式化する。t 統計量などの検定統計量が漸近的に標準正規分布に従うことの直接的な基盤である。
$X_n\xrightarrow{d}X$ かつ $Y_n\xrightarrow{p}c$（定数）のとき、以下が成り立つ。
| 演算 | 結論 | 条件 |
|---|---|---|
| 和・差 | $X_n\pm Y_n\xrightarrow{d}X\pm c$ | — |
| 積 | $X_n Y_n\xrightarrow{d}cX$ | — |
| 商 | $X_n/Y_n\xrightarrow{d}X/c$ | $c\neq0$ |
商については、$Y_n=0$ となる事象上では便宜的に $X_n/Y_n=0$ と定める（この定め方は極限分布に影響しない。実際、$c\neq0$ かつ $Y_n\xrightarrow{p}c$ より $\mathbb{P}(Y_n=0)\le\mathbb{P}(|Y_n-c|\ge|c|/2)\to0$ だからである）。
核心は、$X_n$ と $Y_n$ の依存関係を仮定せずに同時ベクトルの分布収束 $(X_n,Y_n)\xrightarrow{d}(X,c)$ が成り立つことである。
まず、写像 $x\mapsto(x,c)$ は連続だから、$X_n\xrightarrow{d}X$ と連続写像定理より $(X_n,c)\xrightarrow{d}(X,c)$ を得る。次に $Y_n\xrightarrow{p}c$ より、二つのベクトルのユークリッド距離は
$$
\bigl|(X_n,Y_n)-(X_n,c)\bigr|=|Y_n-c|\xrightarrow{p}0
$$
を満たす。すなわち $(X_n,Y_n)$ は $(X_n,c)$ に確率的に漸近同値である。
ここで、次の標準的な補題を（本稿では証明せず）標準結果として用いる。
同時収束補題（converging together lemma）：$\mathbb{R}^d$ 値の確率変数列について、$Z_n\xrightarrow{d}Z$ かつ $\rho(W_n,Z_n)\xrightarrow{p}0$（$\rho$ はユークリッド距離）ならば $W_n\xrightarrow{d}Z$ が成り立つ。
この補題は、ユークリッド空間上の弱収束が有界リプシッツ関数によって特徴づけられる（弱収束位相が有界リプシッツ距離で距離化される）という事実から従う。証明の概略だけ述べると、有界リプシッツ関数 $\varphi$ に対しては、$\rho(W_n,Z_n)$ が小さい事象では $\varphi$ のリプシッツ性により $|\varphi(W_n)-\varphi(Z_n)|$ が小さく、その補事象は確率が $0$ に収束し被積分項は $2\lVert\varphi\rVert_\infty$ で有界だから、
$$
\bigl|\mathbb{E}[\varphi(W_n)]-\mathbb{E}[\varphi(Z_n)]\bigr|\le \mathbb{E}\bigl[|\varphi(W_n)-\varphi(Z_n)|\bigr]\to0
$$
となり、これがすべての有界リプシッツ関数について成り立つことから結論が従う。有界リプシッツ関数による弱収束の特徴づけ自体は、標準的な弱収束論の結果として用いる。より一般の Polish 空間でも同様の主張が成り立つが、本稿ではユークリッド空間の場合だけを用いる。以下では、この同時収束補題と多変量版の連続写像定理（いずれも標準結果）を既知として使う。
いま $Z_n=(X_n,c)$、$W_n=(X_n,Y_n)$ とおけば、上で見たように $\rho(W_n,Z_n)=|Y_n-c|\xrightarrow{p}0$ であり、また $(X_n,c)\xrightarrow{d}(X,c)$ である。したがって
$$
(X_n,Y_n)\xrightarrow{d}(X,c)
$$
を得る。この議論は $X_n,Y_n$ の依存構造に一切依らない。
あとは、多変量版の連続写像定理を適用すればよい。和・差 $g_1(x,y)=x\pm y$ と積 $g_2(x,y)=xy$ は $\mathbb{R}^2$ 全体で連続だから、$(X_n,Y_n)\xrightarrow{d}(X,c)$ より直ちに結論を得る。商については、写像 $g_3(x,y)=x/y$ は集合 $\{(x,y):y\neq0\}$ 上で連続であり、$c\neq0$ ならば極限ベクトル $(X,c)$ はこの集合に確率 $1$ で属する（$\mathbb{P}\bigl((X,c)\in\{(x,y):y\neq0\}\bigr)=1$）。ゆえに連続写像定理の適用条件が満たされ、$X_n/Y_n\xrightarrow{d}X/c$ が従う（$Y_n=0$ 上での便宜的な定め方が極限に影響しないことは、定理直後に述べたとおりである）。統計的には、分母が $0$ に近づき得る問題が、定数極限 $c\neq0$ によって制御されている、と読める。$\blacksquare$
9. デルタ法
非線形推定量の漸近分散を評価する中心的手法である。推定量 $X_n$ が真値 $\theta$ の周りで漸近正規なとき、変換 $g(X_n)$ の漸近分布をテイラー展開（微分）によって線形近似する。
$\sqrt{n}(X_n-\theta)\xrightarrow{d}\mathcal{N}(0,\sigma^2)$ とし、$g:\mathbb{R}\to\mathbb{R}$ を Borel 可測関数で $\theta$ において微分可能とする（通常の統計的応用で用いる連続関数や $C^1$ 関数では可測性は自動的に満たされる。$g$ が $\theta$ の近傍でのみ定義されている場合には、近傍の外側を任意に Borel 可測へ拡張しておけばよく、$X_n\xrightarrow{p}\theta$ よりこの拡張の仕方は漸近分布に影響しない）。このとき
$$
\sqrt{n}\bigl(g(X_n)-g(\theta)\bigr)\xrightarrow{d}\mathcal{N}\bigl(0,[g'(\theta)]^2\sigma^2\bigr).
$$
デルタ法 — 接線による分布の押し出し
なお $g'(\theta)=0$ の場合もこの結論は成立するが、極限は $\mathcal{N}(0,0)$、すなわち $0$ への退化した分布となる。この場合、$\sqrt{n}$ スケールでは退化極限しか得られない。非退化な極限を調べるには、最初に非零となる高階微分に応じてスケールを変更する高階デルタ法を用いる。たとえば $g'(\theta)=0$ かつ $g''(\theta)\neq0$ の場合には、典型的には $n\bigl(g(X_n)-g(\theta)\bigr)$ のスケールで二次形式型の極限が現れ（$\sqrt{n}(X_n-\theta)$ の極限が正規分布なら $\chi^2$ 分布の定数倍など）、一般には正規分布とは限らない。
$g$ は $\theta$ で微分可能だから、$x\neq\theta$ に対して
$$
R(x)=\frac{g(x)-g(\theta)-g'(\theta)(x-\theta)}{x-\theta}
$$
と定め、$R(\theta)=0$ とおく。$g$ が Borel 可測なら $R$ も（$x\neq\theta$ では可測関数の商として、$x=\theta$ では $0$ と定めることで）Borel 可測であり、$R(X_n)$ は確率変数として意味をもつ。$g$ が $\theta$ で微分可能であることは、まさに $x\to\theta$ で $R(x)\to0$ となることを意味する（したがって $R$ は $\theta$ で連続である）。この $R$ を用いると、恒等的に
$$
g(x)=g(\theta)+g'(\theta)(x-\theta)+R(x)(x-\theta)
$$
と 1 次のテイラー展開の形に書ける。$x=X_n$ を代入し、$g(\theta)$ を引いて $\sqrt{n}$ 倍すると
$$
\sqrt{n}\bigl(g(X_n)-g(\theta)\bigr)=g'(\theta)\sqrt{n}(X_n-\theta)+R(X_n)\sqrt{n}(X_n-\theta).
$$
第 1 項（線形主部）：仮定と定数倍（CMT）により $g'(\theta)\sqrt{n}(X_n-\theta)\xrightarrow{d}\mathcal{N}(0,[g'(\theta)]^2\sigma^2)$。
第 2 項（剰余項）：$X_n-\theta=\tfrac{1}{\sqrt{n}}\cdot\sqrt{n}(X_n-\theta)$ である。ここで分布収束する列 $\sqrt{n}(X_n-\theta)$ は確率有界（$O_p(1)$）である。すなわち、任意の $\eta>0$ に対してある $M>0$ が存在し、十分大きい $n$ について
$$
\mathbb{P}\bigl(|\sqrt{n}(X_n-\theta)|>M\bigr)<\eta
$$
とできる。これは、極限分布 $\mathcal{N}(0,\sigma^2)$ の裾確率を大きな $M$ で小さくできることと、分布収束のポートマントー型の特徴づけから従う標準事実である。さらに定数列 $\tfrac{1}{\sqrt{n}}\to0$ を「$0$ へ確率収束する（退化した）確率変数列」とみなせば、両者の積についてスルツキーの定理（積の場合、極限定数は $0$）が適用でき、$X_n-\theta\xrightarrow{p}0$、すなわち $X_n\xrightarrow{p}\theta$ を得る。$R$ は $\theta$ で連続だから、CMT により $R(X_n)\xrightarrow{p}R(\theta)=0$（定数 $\theta$ への確率収束の場合は、$R$ が極限点 $\theta$ の一点で連続であれば十分であり、これは前節の証明と同じ論法で初等的に従う）。したがって $0$ へ確率収束する列 $R(X_n)$ と分布収束する列 $\sqrt{n}(X_n-\theta)$ の積について、スルツキーの定理より
$$
R(X_n)\sqrt{n}(X_n-\theta)\xrightarrow{d}0
$$
が成り立つ。極限が定数 $0$ である場合には分布収束と確率収束が同値なので、実際には
$$
R(X_n)\sqrt{n}(X_n-\theta)\xrightarrow{p}0
$$
も成り立つ。
以上より、和にスルツキーの定理を適用すれば第 2 項は消え、全体の漸近分布は第 1 項に完全に一致する。$\blacksquare$
多変量では、$\sqrt{n}(\boldsymbol{X}_n-\boldsymbol{\theta})\xrightarrow{d}\mathcal{N}(\mathbf{0},\boldsymbol{\Sigma})$ かつ $g:\mathbb{R}^k\to\mathbb{R}^m$ が $\boldsymbol{\theta}$ で全微分可能、すなわちヤコビ行列 $Dg(\boldsymbol{\theta})$ を用いて
$$
g(\boldsymbol{\theta}+\boldsymbol{h})-g(\boldsymbol{\theta})-Dg(\boldsymbol{\theta})\boldsymbol{h}=o(\lVert\boldsymbol{h}\rVert)\qquad(\boldsymbol{h}\to\mathbf{0})
$$
を満たすとき（偏微分が存在してヤコビ行列が形式的に定まるだけでは全微分可能性は従わないことに注意）、多変数テイラー展開と多変量スルツキーの定理から
$$
\sqrt{n}\bigl(g(\boldsymbol{X}_n)-g(\boldsymbol{\theta})\bigr)\xrightarrow{d}\mathcal{N}\bigl(\mathbf{0},Dg(\boldsymbol{\theta})\boldsymbol{\Sigma}Dg(\boldsymbol{\theta})^{\top}\bigr)
$$
が導かれる。逆関数定理により、順写像のヤコビアンが正則ならば逆写像の微分はその逆行列となる。この性質とデルタ法を組み合わせることで、非線形変換（例：オッズ比の対数）を含む母数の信頼区間構築や仮説検定の妥当性が、漸近理論によって保証される。
10. 無限次元・関数空間への展望
初等的な ε-δ と実数上の位相的定理は、ノンパラメトリック推定や関数値パラメータを扱う無限次元漸近理論への踏み台である。
10.1 モーメント法
標本 $X_1,\dots,X_n$ が独立同分布で $\mathbb{E}|X_1|^k<\infty$ を満たすとき、標本の $k$ 次モーメント $M_k=\tfrac{1}{n}\sum_{i=1}^n X_i^k$ は、大数の法則により真のモーメント $\mu_k=\mathbb{E}[X_1^k]$ へ確率収束する。母数が連続関数 $\boldsymbol{\theta}=h(\mu_1,\dots,\mu_k)$ として表せるとき、プラグイン推定量 $\hat{\boldsymbol{\theta}}=h(M_1,\dots,M_k)$ は連続写像定理により $\boldsymbol{\theta}$ へ確率収束し（一致性の獲得）、$h$ が微分可能ならデルタ法によりその漸近分散まで定まる。
モーメント法に限らず、ネイマン–フィッシャーの因子分解定理などにより十分統計量が得られる場合にも、その統計量（多くは標本和の形をとる）に基づいて推定量を構成することが多い。ただし、十分性はデータ圧縮・情報保持に関する概念であり、それ自体が推定量の一致性や漸近正規性を保証するわけではない。これらの推定量に連続写像定理やデルタ法を適用するには、統計量自体の一致性・漸近正規性、および変換の連続性・微分可能性を別途確認する必要がある。
10.2 経験コピュラと汎関数デルタ法
多変量分布から周辺分布を除いた純粋な依存構造を記述するのがコピュラである。周辺分布が未知なセミパラメトリック状況では、各座標の単調変換に対して不変な推測が要求される。周辺分布が連続である場合、各座標ごとの連続な狭義単調増加変換は順位（rank）を保存するため、周辺分布を直接推定する代わりに、観測値の順位から構成される pseudo-observations を用いた経験コピュラ（ノンパラメトリック推定量）が自然に用いられる。パラメータが有限次元ベクトルではなく関数そのものである無限次元問題では、テイラー展開を拡張した汎関数デルタ法が展開される。そこでは連続写像定理や緊密性が、ユークリッド空間ではなくカドラグ関数の空間（スコロホッド位相）や一様ノルム空間の上で用いられる。
もっとも、経験コピュラ過程の弱収束には、単に周辺分布が連続であるだけでなく、コピュラの偏導関数の存在・連続性、境界付近での挙動、経験過程の（一様）緊密性など、いくつかの条件が関わる。本稿ではこれらの詳細には立ち入らず、有限次元で確立した連続写像定理やデルタ法が、適切な関数空間上の写像へと拡張されるという見取り図を示すに留める。ここでも、開集合・コンパクト性・距離に基づく本質的に ε-δ 的な定式化が援用される点が、初等的な議論との連続性を保証している。
11. 結語
極限と連続は、近似操作やグラフの接続を示すものではなく、不等式評価によって局所的な振る舞いを精密に統制する位相的な制約である。ディリクレ関数やトマエ関数のように直観に反する実例を厳密に扱うことで、連続性がいかに強い数学的要請であるかが見える。この定式化は確率測度論へ翻訳され、確率収束・分布収束という形でランダムネスを制御する言語となる。少なくとも実数値・有限次元の基本的な場合について、両者を橋渡しする連続写像定理・スルツキーの定理・デルタ法がどのような ε-δ 的発想に支えられているかを理解すれば、既存公式の適用条件を自ら点検し、推定量の一致性や漸近分布を吟味するための数理的基盤が得られるだろう。
この記事を高評価した人
この記事に送られたバッジ
投稿者
