正規分布を導出する

Def.

Prop&Proof.

$n\geq3$ を満たす $n$ を最初に固定する。
その固定した $n$ に対して、任意の観測値 $x_1,\ldots,x_n$ で算術平均が尤度を最大化すると仮定する。

1. 対数尤度の停留条件を導く。
   仮定より $f(x)>0$ であるから、任意の $t\in\mathbb R$ に対して
   $$ L_n(t) = \prod_{i=1}^{n}f(x_i-t) > 0 $$
   である。したがって、対数尤度
   $$ \ell_n(t) := \log L_n(t) = \sum_{i=1}^{n}\log f(x_i-t) $$
   が定義される。
   $ $
   また、$\log$ は狭義単調増加であるから、
   $L_n(t)$ が $t=\overline x$ で最大値をとるならば、$\ell_n(t)$ も $t=\overline x$ で最大値をとる( 証明はコチラ )。
   $ $
   $f:\mathbb R\to(0,\infty)$ は $C^1$ 級であり、$\log:(0,\infty)\to\mathbb R$ も $C^1$ 級である。
   したがって、$C^1$ 級関数の合成は再び $C^1$ 級であることから、
   $$ \log f = \log\circ f $$
   も $C^1$ 級である。また、チェーンルールより、
   $$ (\log f)'(x) = \frac{f'(x)}{f(x)} $$
   である。ここで、
   $$ \psi(x) := \frac{f'(x)}{f(x)} \quad (x\in\mathbb R) $$
   とおく。
   仮定より、$\ell_n(t)$ は $t=\overline x$ で最大値をとる。$\overline x\in\mathbb R$ は定義域 $\mathbb R$ の内点であるから、
   微分可能な関数の最大値に関する必要条件(証明要(後日更新))より、
   $$ \ell_n'(\overline x)=0 $$
   である。
   一方で、
   $$ \begin{align} \ell_n'(t) &= \frac{d}{dt} \ell_n(t)\\ &= \frac{d}{dt} \sum_{i=1}^{n}\log f(x_i-t)\\ &= \sum_{i=1}^{n} \frac{d}{dt}\log f(x_i-t) \quad \because \text{有限和の微分は微分の和に等しい}\\ &= \sum_{i=1}^{n} \frac{1}{f(x_i-t)} \frac{d}{dt}f(x_i-t) \quad \because \text{$\log f(x_i-t)$ にチェーンルールを用いる}\\ &= \sum_{i=1}^{n} \frac{1}{f(x_i-t)} f'(x_i-t)\frac{d}{dt}(x_i-t) \quad \because \text{$f(x_i-t)$ にチェーンルールを用いる}\\ &= \sum_{i=1}^{n} \frac{1}{f(x_i-t)} f'(x_i-t)(-1) \quad \because \text{$x_i$ は定数であり、$\frac{d}{dt}(x_i-t)=-1$ である}\\ &= -\sum_{i=1}^{n} \frac{f'(x_i-t)}{f(x_i-t)}\\ &= -\sum_{i=1}^{n} \psi(x_i-t) \quad \because \psi(x):=\frac{f'(x)}{f(x)} \end{align} $$
   である。ゆえに、
   $$ 0 = \ell_n'(\overline x) = -\sum_{i=1}^{n}\psi(x_i-\overline x) $$
   であるから、
   $$ \sum_{i=1}^{n}\psi(x_i-\overline x)=0 $$
   が成り立つ。ここで、
   $$ z_i:=x_i-\overline x \quad (i=1,\ldots,n) $$
   とおくと、
   $$ \begin{align} \sum_{i=1}^{n}z_i &= \sum_{i=1}^{n}(x_i-\overline x)\\ &= \sum_{i=1}^{n}x_i-n\overline x\\ &= \sum_{i=1}^{n}x_i - n\cdot\frac{1}{n}\sum_{i=1}^{n}x_i\\ &= 0 \end{align} $$
   である。
   逆に、任意の $z_1,\ldots,z_n\in\mathbb R$ が
   $$ \sum_{i=1}^{n}z_i=0 $$
   を満たすとする。
   このとき、観測値の実現値を
   $$ x_i:=z_i \quad (i=1,\ldots,n) $$
   と選ぶ。すると、
   $$ \begin{align} \overline x &= \frac{1}{n}\sum_{i=1}^{n}x_i\\ &= \frac{1}{n}\sum_{i=1}^{n}z_i \quad \because x_i:=z_i\\ &= \frac{1}{n}\cdot 0 \quad \because \sum_{i=1}^{n}z_i=0\\ &= 0 \end{align} $$
   である。
   したがって、各 $i=1,\ldots,n$ に対して、
   $$ \begin{align} x_i-\overline x &= z_i-\overline x \quad \because x_i:=z_i\\ &= z_i-0 \quad \because \overline x=0\\ &= z_i \end{align} $$
   である。
   よって、すでに得た等式
   $$ \sum_{i=1}^{n}\psi(x_i-\overline x)=0 $$
   に
   $$ x_i-\overline x=z_i $$
   を代入すると、
   $$ \sum_{i=1}^{n}\psi(z_i)=0 $$
   が得られる。
   したがって、任意の $z_1,\ldots,z_n\in\mathbb R$ に対して、
   $$ \sum_{i=1}^{n}z_i=0 \quad\Longrightarrow\quad \sum_{i=1}^{n}\psi(z_i)=0 $$
   が成り立つ。
   $ $
2. $\psi$ が一次関数であることを示す。
   第 $1$ 段階より、任意の $z_1,\ldots,z_n\in\mathbb R$ に対して、
   $$ \sum_{i=1}^{n}z_i=0 \quad\Longrightarrow\quad \sum_{i=1}^{n}\psi(z_i)=0 $$
   が成り立つ。まず、
   $$ z_1=\cdots=z_n=0 $$
   とおくと、
   $$ \sum_{i=1}^{n}z_i=0 $$
   であるから、
   $$ \sum_{i=1}^{n}\psi(0)=0 $$
   である。すなわち、
   $$ n\psi(0)=0 $$
   である。
   $n\geq3$ であるから、特に $n\ne0$ であり、
   $$ \psi(0)=0 $$
   である。
   次に、任意の $x,y\in\mathbb R$ に対して、
   $$ z_1=x,\quad z_2=y,\quad z_3=-x-y $$
   とおく。
   さらに、$n\geq4$ の場合には、$i=4,\ldots,n$ に対して
   $$ z_i=0 $$
   とおく。このとき、
   $$ \sum_{i=1}^{n}z_i = x+y+(-x-y)+0+\cdots+0 = 0 $$
   である。
   したがって、第 $1$ 段階の結果より、
   $$ \begin{align} 0 &= \sum_{i=1}^{n}\psi(z_i)\\ &= \psi(z_1)+\psi(z_2)+\psi(z_3)+\sum_{i=4}^{n}\psi(z_i)\\ &= \psi(x)+\psi(y)+\psi(-x-y)+\sum_{i=4}^{n}\psi(0) \quad \because z_1=x,\ z_2=y,\ z_3=-x-y,\ z_4=\cdots=z_n=0\\ &= \psi(x)+\psi(y)+\psi(-x-y)+(n-3)\psi(0) \quad \because \text{$i=4,\ldots,n$ は全部で $n-3$ 個である} \end{align} $$
   である。
   すでに $\psi(0)=0$ を得ているので、
   $$ \psi(x)+\psi(y)+\psi(-x-y)=0 $$
   である。
   特に、$y=0$ とすると、
   $$ \psi(x)+\psi(0)+\psi(-x)=0 $$
   である。
   $\psi(0)=0$ より、
   $$ \psi(-x)=-\psi(x) $$
   が成り立つ。したがって、
   $$ \psi(-x-y)=-\psi(x+y) $$
   である。ゆえに、
   $$ \psi(x)+\psi(y)-\psi(x+y)=0 $$
   であるから、
   $$ \psi(x+y)=\psi(x)+\psi(y) \quad (x,y\in\mathbb R) $$
   が成り立つ。
   また、$f$ は $C^1$ 級であり $f>0$ であるから、$f'$ は連続であり、$1/f$ も連続である。
   したがって、
   $$ \psi=\frac{f'}{f} $$
   は連続関数である。
   よって、連続な加法的関数は一次関数であるから、ある定数 $a\in\mathbb R$ が存在して、
   $$ \psi(x)=ax \quad (x\in\mathbb R) $$
   が成り立つ( 証明はコチラ )。
   したがって、
   $$ \frac{f'(x)}{f(x)}=ax \quad (x\in\mathbb R) $$
   である。
   $ $
3. 微分方程式を解く。
   第 $2$ 段階より、任意の $x\in\mathbb R$ に対して
   $$ \frac{f'(x)}{f(x)}=ax $$
   が成り立つ。
   また、$f(x)>0$ であるから $\log f(x)$ が定義され、チェーンルールより
   $$ \frac{d}{dx}\log f(x) = \frac{f'(x)}{f(x)} $$
   である。
   したがって、
   $$ \frac{d}{dx}\log f(x) = ax $$
   である。
   ここで、
   $$ G(x) := \log f(x)-\frac{a}{2}x^2 $$
   とおく。
   すると、
   $$ \begin{align} G'(x) &= \frac{d}{dx}\log f(x) - \frac{d}{dx}\left(\frac{a}{2}x^2\right)\\ &= ax-ax\\ &= 0 \end{align} $$
   である。
   したがって、$G$ は $\mathbb R$ 上で定数関数である(補足を参照)。
   ゆえに、ある定数 $C\in\mathbb R$ が存在して、
   $$ \log f(x)-\frac{a}{2}x^2=C \quad (x\in\mathbb R) $$
   である。
   すなわち、
   $$ \log f(x) = \frac{a}{2}x^2+C \quad (x\in\mathbb R) $$
   である。
   両辺の指数をとると、
   $$ \begin{align} f(x) &= \exp\left(\frac{a}{2}x^2+C\right)\\ &= e^C\exp\left(\frac{a}{2}x^2\right) \end{align} $$
   である。
   ここで
   $$ A:=e^C $$
   とおけば、$A>0$ であり、
   $$ f(x) = A\exp\left(\frac{a}{2}x^2\right) \quad (x\in\mathbb R) $$
   が成り立つ。
   $ $
4. $a<0$ を示す。
   $f$ は確率密度関数であるから、
   $$ \int_{-\infty}^{\infty}f(x)\,dx=1 $$
   である。したがって、$f$ は $\mathbb R$ 上で可積分である。
   いま、
   $$ f(x)=A\exp\left(\frac{a}{2}x^2\right) \quad (A>0) $$
   である。
   $ $
   i) $a>0$ の場合を考える。
   　$|x|\geq1$ ならば、
   $$ \frac{a}{2}x^2\geq\frac{a}{2} $$
   　であるから、
   $$ \exp\left(\frac{a}{2}x^2\right) \geq \exp\left(\frac{a}{2}\right) $$
   　である。したがって、
   $$ f(x) = A\exp\left(\frac{a}{2}x^2\right) \geq A\exp\left(\frac{a}{2}\right) \quad (|x|\geq1) $$
   　である。よって、
   $$ \begin{align} \int_{-R}^{R}f(x)\,dx &\geq \int_1^R f(x)\,dx\\ &\geq \int_1^R A\exp\left(\frac{a}{2}\right)\,dx\\ &= A\exp\left(\frac{a}{2}\right)(R-1) \end{align} $$
   　ここで、$R\to\infty$ とすると右辺は $\infty$ に発散する。
   　したがって、
   $$ \int_{-\infty}^{\infty}f(x)\,dx=\infty $$
   　となり、$\int_{-\infty}^{\infty}f(x)\,dx=1$ に矛盾する。
   　これは $f$ が確率密度関数であることに矛盾する。
   $ $
   ii) $a=0$ の場合を考える。
   　このとき、
   $$ f(x)=A \quad (x\in\mathbb R) $$
   　である。$A>0$ なので、
   $$ \int_{-R}^{R}f(x)\,dx = \int_{-R}^{R}A\,dx = 2AR $$
   　である。
   　$R\to\infty$ とすると $2AR\to\infty$ である。
   　したがって、
   $$ \int_{-\infty}^{\infty}f(x)\,dx=\infty $$
   　となり、$\int_{-\infty}^{\infty}f(x)\,dx=1$ に矛盾する。
   　これも $f$ が確率密度関数であることに矛盾する。
   $ $
   以上より、$a>0$ でも $a=0$ でもない。
   したがって、
   $$ a<0 $$
   である。
   ゆえに、$-a>0$ であるから、
   $$ \tau:=\frac{1}{\sqrt{-a}}>0 $$
   とおける。
   このとき、
   $$ a=-\frac{1}{\tau^2} $$
   である。
   したがって、
   $$ f(x) = A\exp\left( -\frac{x^2}{2\tau^2} \right) $$
   である。
   $ $
5. 正規化定数を決定する。
   $f$ は確率密度関数であるから、
   $$ 1 = \int_{-\infty}^{\infty}f(x)\,dx $$
   である。
   また、第 $4$ 段階より、
   $$ f(x) = A\exp\left( -\frac{x^2}{2\tau^2} \right) $$
   であるから、
   $$ \begin{align} 1 &= \int_{-\infty}^{\infty}f(x)\,dx\\ &= \int_{-\infty}^{\infty} A\exp\left( -\frac{x^2}{2\tau^2} \right)\,dx\\ &= A\int_{-\infty}^{\infty} \exp\left( -\frac{x^2}{2\tau^2} \right)\,dx \quad \because A>0 \text{ は定数である} \end{align} $$
   である。
   ここで、変数変換
   $$ u:=\frac{x}{\sqrt{2}\tau} $$
   を行うと、
   $$ x=\sqrt{2}\tau u, \quad dx=\sqrt{2}\tau\,du $$
   である。
   また、$\tau>0$ であるから、$x\to-\infty$ のとき $u\to-\infty$、$x\to\infty$ のとき $u\to\infty$ である。
   したがって、
   $$ \begin{align} \int_{-\infty}^{\infty} \exp\left( -\frac{x^2}{2\tau^2} \right)\,dx &= \int_{-\infty}^{\infty} e^{-u^2}\sqrt{2}\tau\,du\\ &= \sqrt{2}\tau \int_{-\infty}^{\infty} e^{-u^2}\,du\\ &= \sqrt{2}\tau\sqrt{\pi}\\ &= \sqrt{2\pi\tau^2} \end{align} $$
   である(3つ目の等号はガウス積分：証明要(後日更新))。
   よって、
   $$ 1 = A\sqrt{2\pi\tau^2} $$
   である。
   したがって、
   $$ A = \frac{1}{\sqrt{2\pi\tau^2}} $$
   である。
   ゆえに、
   $$ f(x) = \frac{1}{\sqrt{2\pi\tau^2}} \exp\left( -\frac{x^2}{2\tau^2} \right) \quad (x\in\mathbb R) $$
   である。

-以上より、本記事でいう「誤差の公理」を満たす関数は、ある $\tau>0$ が存在して、
$$ f(x) = \frac{1}{\sqrt{2\pi\tau^2}} \exp\left( -\frac{x^2}{2\tau^2} \right) \quad (x\in\mathbb R) $$
で表される。
さらに、各 $i=1,\ldots,n$ に対して、$E_i$ の密度関数は $f$ であるから、任意の $a,b\in\mathbb R$ が $a< b$ を満たすならば、
$$ \mathbb P(a< E_i\leq b) = \int_a^b \frac{1}{\sqrt{2\pi\tau^2}} \exp\left( -\frac{x^2}{2\tau^2} \right) \,dx $$
である。
また、仮定より、
$$ X_i=\theta+E_i $$
である。
したがって、任意の $a,b\in\mathbb R$ が $a< b$ を満たすならば、
$$ \begin{align} \mathbb P(a< X_i\leq b) &= \mathbb P(a<\theta+E_i\leq b)\\ &= \mathbb P(a-\theta< E_i\leq b-\theta)\\ &= \int_{a-\theta}^{b-\theta} \frac{1}{\sqrt{2\pi\tau^2}} \exp\left( -\frac{u^2}{2\tau^2} \right) \,du \end{align} $$
である。
ここで、変数変換
$$ t:=u+\theta $$
を行うと、
$$ u=t-\theta, \qquad du=dt $$
である。また、$u=a-\theta$ のとき $t=a$ であり、$u=b-\theta$ のとき $t=b$ である。
ゆえに、
$$ \begin{align} \mathbb P(a< X_i\leq b) &= \int_a^b \frac{1}{\sqrt{2\pi\tau^2}} \exp\left( -\frac{(t-\theta)^2}{2\tau^2} \right) \,dt \end{align} $$
である。
$$ \Box$$