本記事は推定量の漸近有効性の定義に関する備忘録です. もし間違い等があればコメントいただけますと幸いです.
推定量の有効性の定義については, 記事「
不偏推定論におけるCramér–Raoの不等式について
」を参照してください. ちなみにある推定量の系列が漸近有効性を持つとは, 雑に言えば, その推定量の漸近分散 (2次のリスク) が理論上の下限に一致することを意味します.
$\Uptheta \subset \mathbb{R}^p$を未知パラメータの空間とし, $(\mathscr{X}, \mathscr{A}, \{ \mathrm{P}_{\bm{\theta}} \}_{\theta \in \Uptheta})$を統計的実験, $\{ (\mathscr{X}^n, \mathscr{A}^n, \{ \mathrm{P}^n_{\bm{\theta}} \}_{\theta \in \Uptheta}) \}_{n \in \mathbb{N}}$をその直積による統計的実験の列とします. 分布$\mathrm{P}_{\bm{\theta}}$からの独立な$n$個の観測から構成した最尤推定量$\widehat{\bm{\theta}}_n$が漸近正規性を持つとき, その漸近分散はFisher情報行列$\mathcal{I}(\bm{\theta})$の逆行列となります. すなわち,
\begin{align*}
\sqrt{n}(\widehat{\bm{\theta}}_n - \bm{\theta}) \to^d \mathcal{N}\big( \bm{0}, \mathcal{I}^{-1}(\bm{\theta}) \big).
\end{align*}
このとき, Portmanteauの補題より
\begin{align*}
\liminf_{n \to \infty} \mathrm{E}^n_{\bm{\theta}}\Big[ \big\| \sqrt{n}(\widehat{\bm{\theta}}_n - \bm{\theta}) \big\|^2 \Big]
\geq \tr\big( \mathcal{I}^{-1}(\bm{\theta}) \big)
\end{align*}
が成り立ちます. 然らば, 任意の$\bm{\theta}$の漸近正規推定量$\bm{T}_n$に対しても
\begin{align*}
\liminf_{n \to \infty} \mathrm{E}^n_{\bm{\theta}}\Big[ \big\| \sqrt{n}(\bm{T}_n - \bm{\theta}) \big\|^2 \Big] \label{eq:1}
\geq \tr\big( \mathcal{I}^{-1}(\bm{\theta}) \big), \quad \bm{\theta} \in \Uptheta
\end{align*}
が成り立つならば, 不偏推定量に対するCramér–Raoの不等式のアナロジーからその下限を達成する推定量に対して有効性が定義できるように思えます. しかし, この思惑はHodgesの反例として知られる超有効推定量の存在によって失敗します. 以下では, このHodgesの反例について紹介し, 推定量の漸近有効性を如何に定義すべきかについて考察します.
$\{ X_i \}_{i \in \mathbb{N}}$を正規分布$\mathcal{N}(\theta, 1)$に従う独立な確率変数の列とし,
\begin{align*}
\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i
\end{align*}
とおく. 今, $\alpha$を$0 < \alpha < 1$を満たす定数とし, 以下の$\theta$の推定量を考える :
\begin{align*}
T_n
= \overline{X}_n \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}} + \alpha \overline{X}_n \bm{1}_{\big\{ |\overline{X}_n| \leq n^{-1/4} \big\}}.
\end{align*}
このとき, $\theta \neq 0$ならば,
\begin{align*}
\sqrt{n}(T_n - \theta) \to^d \mathcal{N}(0, 1), \quad
\lim_{n\to\infty} \mathrm{E}_{\theta}^n\Big[ \big| \sqrt{n}(T_n - \theta) \big|^2 \Big] = 1
\end{align*}
が成り立ち, 一方で$\theta = 0$ならば,
\begin{align*}
\sqrt{n}(T_n - 0) \to^d \mathcal{N}\big( 0, \alpha^2 \big), \quad
\lim_{n\to\infty} \mathrm{E}_0^n\Big[ \big| \sqrt{n}(T_n - 0) \big|^2 \Big] = \alpha^2
\end{align*}
が成り立つ.
$T_n$は$\theta = 0$においては漸近分散が$\alpha^2\,(< 1)$とFisher情報量の逆数$\mathcal{I}^{-1}(0)\,(= 1)$よりも小さくなり, 不等式
\begin{align*}
\liminf_{n \to \infty} \mathrm{E}^n_{\theta}\Big[ \big\| \sqrt{n}(T_n - \theta) \big\|^2 \Big]
\geq \mathcal{I}^{-1}(\theta), \quad \theta \in \Uptheta
\end{align*}
に反する推定量となっています. この意味で$T_n$は$\theta = 0$において超有効であるといわれます. この例から推定量の漸近有効性を定義するには別の切り口を考える必要が生じます.
※ex:1の主張の証明はページ下部を参照
ex:1 (Hodgesの反例) では$\theta$を固定して考えたため超有効な推定量を構成できましたが, 本来パラメータの真値$\theta$は未知なので, 推定を誤るリスクは$\theta$に関して一様に評価するのが妥当であると考えられます.
$h \in \mathbb{R}$を固定する. また, $\{ X_{n,i} \}_{n \in \mathbb{N}, i \in \{ 1, \ldots, n\}}$を独立な確率変数の三角列とし, 各$i \in \{ 1, \ldots, n\}$について$X_{n, i} \sim \mathcal{N}(h/\sqrt{n}, 1)$とする. このとき,
\begin{align*}
\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_{n, i}
\end{align*}
とし, $T_n$をex:1で定義した推定量とすれば,
\begin{align*}
&\sqrt{n}\bigg( T_n - \frac{h}{\sqrt{n}} \bigg) \to^d \mathcal{N}\big( -(1 - \alpha)h, \alpha^2 \big), \\[5pt]
&\lim_{n\to\infty} \mathrm{E}_{h/\sqrt{n}}^n\Bigg[ \bigg| \sqrt{n}\bigg( T_n - \frac{h}{\sqrt{n}} \bigg) \bigg|^2 \Bigg] = \alpha^2 + (1 - \alpha)^2 h^2
\end{align*}
が成り立つ.
ex:2より十分大きな$h$を固定し, $h/\sqrt{n} \to 0$のようにパラメータを動かすと
\begin{align*}
\lim_{n\to\infty} \mathrm{E}_{h/\sqrt{n}}^n\Bigg[ \bigg| \sqrt{n}\bigg( T_n - \frac{h}{\sqrt{n}} \bigg) \bigg|^2 \Bigg] > 1
\end{align*}
となって, ex:1における極限
\begin{align*}
\lim_{n\to\infty} \mathrm{E}_{\theta}^n\Big[ \big| \sqrt{n}(T_n - \theta) \big|^2 \Big]
=
\begin{cases}
1, & \theta \neq 0 \\[5pt]
\alpha^2, & \theta = 0
\end{cases}
\end{align*}
は$\theta = 0$の近傍においては一様に収束しないことが分かります. このことから推察されるように, $\theta$に関する一様なリスク評価がパラメータの1点でのみ良いパフォーマンスを示す病的な推定量を排除する鍵となります.
※ex:2の主張の証明はページ下部を参照
次の結果は漸近ミニマックス不等式として知られ, 推定量の系列の漸近ミニマックスリスクの下限を与えます.
次の3つの条件を仮定する.
このとき, 統計的実験列$\{ (\mathscr{X}^n, \mathscr{A}^n, \{ \mathrm{P}^n_{\bm{\theta}} \}_{\theta \in \Uptheta}) \}_{n \in \mathbb{N}}$に対する任意の推定量の列$\{ \bm{T}_n \}_{n \in \mathbb{N}}$について, 不等式
\begin{align*}
\sup_I \liminf_{n \to \infty} \sup_{\bm{h} \in I} \mathrm{E}_{\bm{\theta} + n^{-1/2} \bm{h}}^n\Big[ \big\| \sqrt{n}\big\{ \bm{T}_n - \big( \bm{\theta} + n^{-1/2} \bm{h} \big) \big\} \big\|^2 \Big]
\geq \mathbb{E}\Big[ \big\| \mathcal{I}^{-1/2}(\bm{\theta}) \bm{Z} \big\|^2 \Big] \label{eq:2}
\end{align*}
が成り立つ. ただし, $\bm{Z}$は$p$変量正規分布$\mathcal{N}(\bm{0}, \bm{\mathrm{I}})$に従う確率変数であり, 左辺の$\sup$は$\mathbb{R}^p$の有限部分集合全体に渡ってとるものとする.
thm:1の不等式の右辺は漸近ミニマックス限界と呼ばれます. この不等式を基に推定量の漸近有効性は以下のように定義されます.
統計的実験列$\{ (\mathscr{X}^n, \mathscr{A}^n, \{ \mathrm{P}^n_{\bm{\theta}} \}_{\theta \in \Uptheta}) \}_{n \in \mathbb{N}}$がthm:1の仮定を満たすとき, $\bm{\theta} \in \Uptheta$に対して漸近ミニマックス限界を達成する, すなわち,
\begin{align*}
\sup_I \liminf_{n \to \infty} \sup_{\bm{h} \in I} \mathrm{E}_{\bm{\theta} + n^{-1/2} \bm{h}}^n\Big[ \big\| \sqrt{n}\big\{ \bm{T}_n - \big( \bm{\theta} + n^{-1/2} \bm{h} \big) \big\} \big\|^2 \Big]
= \mathbb{E}\Big[ \big\| \mathcal{I}^{-1/2}(\bm{\theta}) \bm{Z} \big\|^2 \Big]
\end{align*}
を満たす推定量$\bm{T}_n$を$\bm{\theta}$の漸近有効推定量という.
ex:2からHodgesの推定量は漸近ミニマックス限界を達成せず, dfn:1は超有効推定量の排除に成功していることが分かります.
正規分布の再生性より, 任意の$n \in \mathbb{N}$について
\begin{align*}
\sqrt{n}(\overline{X}_n - \theta) \sim \mathcal{N}(0, 1)
\end{align*}
である. また,
\begin{align*}
T_n
= \overline{X}_n - (1 - \alpha) \overline{X}_n \bm{1}_{\big\{ |\overline{X}_n| \leq n^{-1/4} \big\}}
= \alpha \overline{X}_n + (1 - \alpha) \overline{X}_n \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}}
\end{align*}
と変形できることに注意する.
$\theta \neq 0$とする. $n > 16|\theta|^{-4}$ならば,
\begin{align*}
\mathrm{P}_{\theta}^n\big( \sqrt{n}(T_n - \overline{X}_n) \neq 0 \big)
&= \mathrm{P}_{\theta}^n\big( |\overline{X}_n| \leq n^{-1/4} \big) \\[2pt]
&= \int_{-n^{-1/4}}^{n^{-1/4}} \frac{1}{n^{-1/2} \sqrt{2\pi}} \exp\bigg( -\frac{(x - \theta)^2}{2n^{-1}} \bigg) dx \\[2pt]
&= \frac{\sqrt{n}}{\sqrt{2\pi}} \int_{-n^{-1/4}}^{n^{-1/4}} \exp\bigg( -\frac{1}{2} n(x - \theta)^2 \bigg) dx \\[2pt]
&= \frac{1}{\sqrt{2\pi}} \int_{-n^{1/4} - \theta\sqrt{n}}^{n^{1/4} - \theta\sqrt{n}} \exp\bigg( -\frac{x^2}{2} \bigg) dx \\[2pt]
&\leq \frac{2n^{1/4}}{\sqrt{2\pi}} \exp\bigg( -\frac{1}{2}\big( n^{1/4} - |\theta|\sqrt{n} \big)^2 \bigg) \\[2pt]
&= \sqrt{\frac{2}{\pi}} n^{1/4} \exp\bigg( -\frac{1}{2}n\big( |\theta| - n^{-1/4} \big)^2 \bigg) \\[2pt]
&= O\bigg( n^{1/4} \exp\bigg( -\frac{1}{8} \theta^2 n \bigg) \bigg) \\[2pt]
&\to 0
\end{align*}
であるから,
\begin{align*}
\sqrt{n}(T_n - \theta)
= \sqrt{n}(\overline{X}_n - \theta) + \sqrt{n}(T_n - \overline{X}_n)
\to^d \mathcal{N}(0, 1)
\end{align*}
となる. また,
\begin{align*}
\sqrt{n}(T_n - \theta)
= \sqrt{n} (\overline{X}_n - \theta) - (1 - \alpha) \sqrt{n} \overline{X}_n \bm{1}_{\big\{ |\overline{X}_n| \leq n^{-1/4} \big\}}
\end{align*}
であるから,
\begin{align*}
&\bigg| \mathrm{E}_{\theta}^n\Big[ \big| \sqrt{n}(T_n - \theta) \big|^2 \Big] - \mathrm{E}_{\theta}^n\Big[ \big| \sqrt{n}(\overline{X}_n - \theta) \big|^2 \Big] \bigg| \\[2pt]
&\leq (1 - \alpha)^2 \sqrt{n} \mathrm{P}_{\theta}^n\big( |\overline{X}_n| \leq n^{-1/4} \big) + 2(1 - \alpha) \sqrt{n} (1 + |\theta| n^{1/4}) \mathrm{P}_{\theta}^n\big( |\overline{X}_n| \leq n^{-1/4} \big) \\[2pt]
&= (1 - \alpha) \sqrt{n} \big\{ (1-\alpha) + 2(1 + |\theta| n^{1/4}) \big\} \cdot O\bigg( n^{1/4} \exp\bigg( -\frac{1}{8} \theta^2 n \bigg) \bigg) \\[2pt]
&\to 0.
\end{align*}
したがって, 任意の$n \in \mathbb{N}$について
\begin{align*}
\mathrm{E}_{\theta}^n\Big[ \big| \sqrt{n}(\overline{X}_n - \theta) \big|^2 \Big] = 1
\end{align*}
となることに注意して,
\begin{align*}
\lim_{n\to\infty} \mathrm{E}_{\theta}^n\Big[ \big| \sqrt{n}(T_n - \theta) \big|^2 \Big] = 1
\end{align*}
を得る.
$\theta = 0$とすると,
\begin{align*}
\mathrm{P}_0^n\big( \sqrt{n} T_n = \alpha \sqrt{n}\,\overline{X}_n \big)
&= \mathrm{P}_0^n\big( |\overline{X}_n| \leq n^{-1/4} \big) \\[2pt]
&= \int_{-n^{-1/4}}^{n^{-1/4}} \frac{1}{n^{-1/2} \sqrt{2\pi}} \exp\bigg( -\frac{x^2}{2n^{-1}} \bigg) dx \\[2pt]
&= \frac{\sqrt{n}}{\sqrt{2\pi}} \int_{-n^{-1/4}}^{n^{-1/4}} \exp\bigg( -\frac{1}{2} nx^2 \bigg) dx \\[2pt]
&= \frac{1}{\sqrt{2\pi}} \int_{-n^{1/4}}^{n^{1/4}} \exp\bigg( -\frac{x^2}{2} \bigg) dx \\[2pt]
&\to 1
\end{align*}
であるから,
\begin{align*}
\sqrt{n} T_n
= \alpha \sqrt{n} \overline{X}_n + \sqrt{n}(T_n - \alpha \overline{X}_n)
\to^d \mathcal{N}\big( 0, \alpha^2 \big)
\end{align*}
となる. また,
\begin{align*}
\sqrt{n} T_n
= \alpha \sqrt{n} \overline{X}_n + (1 - \alpha) \sqrt{n} \overline{X}_n \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}}
\end{align*}
であるから,
\begin{align*}
\bigg| \mathrm{E}_0^n\Big[ \big| \sqrt{n} T_n \big|^2 \Big] - \mathrm{E}_0^n\Big[ \big| \alpha \sqrt{n} \overline{X}_n \big|^2 \Big] \bigg|
&= (1 - \alpha) (1 + \alpha) \mathrm{E}_0^n\Big[ \big| \sqrt{n} \overline{X}_n \big|^2 \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}} \Big] \\[2pt]
&\leq \big( 1 - \alpha^2 \big) n^{-1/2} \mathrm{E}_0^n\Big[ \big| \sqrt{n} \overline{X}_n \big|^4 \Big] \\[2pt]
&= 3\big( 1 - \alpha^2 \big) n^{-1/2} \\[2pt]
&\to 0.
\end{align*}
したがって, 任意の$n \in \mathbb{N}$について
\begin{align*}
\mathrm{E}_0^n\Big[ \big| \sqrt{n} \overline{X}_n \big|^2 \Big] = 1
\end{align*}
となることに注意して,
\begin{align*}
\lim_{n\to\infty} \mathrm{E}_0^n\Big[ \big| \sqrt{n} T_n \big|^2 \Big] = \alpha^2
\end{align*}
を得る. (証明終)
$Z_n = \sqrt{n} \overline{X}_n - h$とおくと,
\begin{align*}
\overline{X}_n \sim \mathcal{N}\bigg( \frac{h}{\sqrt{n}}, \frac{1}{n} \bigg)
\end{align*}
であるから,
\begin{align*}
Z_n = \bigg( \overline{X}_n - \frac{h}{\sqrt{n}} \bigg) \bigg/ \sqrt{\frac{1}{n}} \sim \mathcal{N}(0, 1)
\end{align*}
である. したがって,
\begin{align*}
\mathrm{P}_{h/\sqrt{n}}^n\Big( |\overline{X}_n| \leq n^{-1/4} \Big)
&= \mathrm{P}_{h/\sqrt{n}}^n\Big( |Z_n + h| \leq n^{1/4} \Big) \\[2pt]
&= \mathrm{P}_{h/\sqrt{n}}^n\Big( -n^{1/4} - h \leq Z_n \leq n^{1/4} - h \Big) \\[2pt]
&= \int_{-n^{1/4} - h}^{n^{1/4} - h} \frac{1}{\sqrt{2\pi}} \exp\bigg( -\frac{x^2}{2} \bigg) dx \\[2pt]
&\to 1.
\end{align*}
故に,
\begin{align*}
\sqrt{n}\bigg( T_n - \frac{h}{\sqrt{n}} \bigg)
&= \alpha \sqrt{n} \overline{X}_n - h + (1 - \alpha) \sqrt{n} \overline{X}_n \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}} \\[2pt]
&= \big\{ \alpha Z_n - (1 - \alpha)h \big\} + (1 - \alpha)(Z_n + h) \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}}
\end{align*}
に注意して,
\begin{align*}
\sqrt{n}\bigg( T_n - \frac{h}{\sqrt{n}} \bigg)
= \big\{ \alpha Z_n - (1 - \alpha)h \big\} + o_p(1)
\to^d \mathcal{N}\big( -(1 - \alpha)h, \alpha^2 \big)
\end{align*}
を得る. また,
\begin{align*}
&\Bigg| \mathrm{E}_{h/\sqrt{n}}^n\Bigg[ \bigg| \sqrt{n}\bigg( T_n - \frac{h}{\sqrt{n}} \bigg) \bigg|^2 \Bigg] - \mathrm{E}_{h/\sqrt{n}}^n\Big[ \big| \alpha Z_n - (1 - \alpha)h \big|^2 \Big] \Bigg| \\[2pt]
&= \bigg| (1 - \alpha)^2 \mathrm{E}_{h/\sqrt{n}}^n\Big[ |\sqrt{n} \overline{X}_n|^2 \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}} \Big] + 2(1 - \alpha) \mathrm{E}_{h/\sqrt{n}}^n\Big[ \big( \alpha \sqrt{n} \overline{X}_n - h \big) \cdot \sqrt{n} \overline{X}_n \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}} \Big] \bigg| \\[2pt]
&\leq (1 - \alpha)(1 + \alpha) \mathrm{E}_{h/\sqrt{n}}^n\Big[ |\sqrt{n} \overline{X}_n|^2 \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}} \Big] + 2(1 - \alpha)|h| \mathrm{E}_{h/\sqrt{n}}^n\Big[ |\sqrt{n} \overline{X}_n| \bm{1}_{\big\{ |\overline{X}_n| > n^{-1/4} \big\}} \Big] \\[2pt]
&\leq \big( 1 - \alpha^2 \big) n^{-1/2} \mathrm{E}_{h/\sqrt{n}}^n\Big[ |\sqrt{n} \overline{X}_n|^4 \Big] + 2(1 - \alpha)|h| n^{-1/4} \mathrm{E}_{h/\sqrt{n}}^n\Big[ |\sqrt{n} \overline{X}_n|^2 \Big] \\[2pt]
&\leq \big( 1 - \alpha^2 \big) \big( h^4 + 6h^2 + 3 \big) n^{-1/2} + 2(1 - \alpha)|h| \big( h^2 + 1 \big) n^{-1/4} \\[2pt]
&\to 0.
\end{align*}
となるから, 任意の$n \in \mathbb{N}$について
\begin{align*}
\mathrm{E}_{h/\sqrt{n}}^n\Big[ \big| \alpha Z_n - (1 - \alpha)h \big|^2 \Big]
= \mathrm{E}_{h/\sqrt{n}}^n\Big[ \alpha^2 Z_n^2 - 2\alpha(1 - \alpha)h Z_n + (1 - \alpha)^2 h^2 \Big]
= \alpha^2 + (1 - \alpha)^2 h^2
\end{align*}
となることに注意して,
\begin{align*}
\lim_{n\to\infty} \mathrm{E}_{h/\sqrt{n}}^n\Bigg[ \bigg| \sqrt{n}\bigg( T_n - \frac{h}{\sqrt{n}} \bigg) \bigg|^2 \Bigg] = \alpha^2 + (1 - \alpha)^2 h^2
\end{align*}
を得る. (証明終)