統計モデルとパラメーター推定の数学的基礎と尤度関数の最大化

Def.

Prop&Proof.

$\log$ は $(0,\infty)$ 上の狭義単調増加関数である。
したがって、任意の $a,b\in(0,\infty)$ に対して、
$$ a\le b \Longleftrightarrow \log a\le \log b $$
が成り立つ。

1. $\Rightarrow$ を示す。
   $\log\circ f$ が $x_m$ で最大値をとると仮定する。
   このとき、最大値の定義より、任意の $x\in D$ に対して、
   $$ \log f(x)\le \log f(x_m) $$
   が成り立つ。
   また、$f:D\to(0,\infty)$ であるから、
   $$ f(x)>0, \qquad f(x_m)>0 $$
   である。
   よって、$\log$ の狭義単調増加性より、任意の $x\in D$ に対して、
   $$ f(x)\le f(x_m) $$
   が成り立つ。
   したがって、$f$ は $x_m$ で最大値をとる。
   $ $
2. $\Leftarrow$ を示す。
   $f$ が $x_m$ で最大値をとると仮定する。
   このとき、最大値の定義より、任意の $x\in D$ に対して、
   $$ f(x)\le f(x_m) $$
   が成り立つ。
   また、$f:D\to(0,\infty)$ であるから、
   $$ f(x)>0, \qquad f(x_m)>0 $$
   である。
   よって、$\log$ の狭義単調増加性より、任意の $x\in D$ に対して、
   $$ \log f(x)\le \log f(x_m) $$
   が成り立つ。
   したがって、$\log\circ f$ は $x_m$ で最大値をとる。

-以上より、
$$ \log f(x_m)\ge \log f(x) \quad(\forall x\in D) \Longleftrightarrow f(x_m)\ge f(x) \quad(\forall x\in D) $$
が成り立つ。
$$ \Box$$

ここで、任意の関数 $f:\Theta_x\to\mathbb R$ に対して、
$$ \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} f(\boldsymbol\theta) := \left\{ \widehat{\boldsymbol\theta}\in\Theta_x \mid \forall \boldsymbol\eta\in\Theta_x,\ f(\boldsymbol\eta)\le f(\widehat{\boldsymbol\theta}) \right\} $$
と定める。

1. $\log$ は $(0,\infty)$ 上の狭義単調増加関数である。
   したがって、任意の正の実数 $a,b>0$ に対して、
   $$ a\le b \Longleftrightarrow \log a\le \log b $$
   が成り立つ。
   いま、任意の $\boldsymbol\theta,\boldsymbol\eta\in\Theta_x$ に対して、
   $$ L(\boldsymbol\theta;x)>0, \qquad L(\boldsymbol\eta;x)>0 $$
   であるから、上の性質を
   $$ a=L(\boldsymbol\theta;x), \qquad b=L(\boldsymbol\eta;x) $$
   に適用できる。
   よって、任意の $\boldsymbol\theta,\boldsymbol\eta\in\Theta_x$ に対して、
   $$ \begin{align} L(\boldsymbol\theta;x)\le L(\boldsymbol\eta;x) &\Longleftrightarrow \log L(\boldsymbol\theta;x)\le \log L(\boldsymbol\eta;x)\\ &\Longleftrightarrow \ell(\boldsymbol\theta;x)\le \ell(\boldsymbol\eta;x) \end{align} $$
   が成り立つ。
   $ $
2. まず、
   $$ \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} L(\boldsymbol\theta;x) \subseteq \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} \ell(\boldsymbol\theta;x) $$
   を示す。$\widehat{\boldsymbol\theta}\in \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} L(\boldsymbol\theta;x)$ とする。
   このとき、最大点の定義より、任意の $\boldsymbol\eta\in\Theta_x$ に対して、
   $$ L(\boldsymbol\eta;x) \le L(\widehat{\boldsymbol\theta};x) $$
   が成り立つ。
   したがって、(上で示した)同値性より、任意の $\boldsymbol\eta\in\Theta_x$ に対して、
   $$ \ell(\boldsymbol\eta;x) \le \ell(\widehat{\boldsymbol\theta};x) $$
   が成り立つ。
   ゆえに、
   $$ \widehat{\boldsymbol\theta} \in \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} \ell(\boldsymbol\theta;x) $$
   である。
   よって、
   $$ \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} L(\boldsymbol\theta;x) \subseteq \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} \ell(\boldsymbol\theta;x) $$
   である。
   $ $
3. 次に、
   $$ \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} \ell(\boldsymbol\theta;x) \subseteq \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} L(\boldsymbol\theta;x) $$
   を示す。$\widehat{\boldsymbol\theta}\in \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} \ell(\boldsymbol\theta;x)$ とする。
   このとき、最大点の定義より、任意の $\boldsymbol\eta\in\Theta_x$ に対して、
   $$ \ell(\boldsymbol\eta;x) \le \ell(\widehat{\boldsymbol\theta};x) $$
   が成り立つ。
   したがって、(上で示した)同値性より、任意の $\boldsymbol\eta\in\Theta_x$ に対して、
   $$ L(\boldsymbol\eta;x) \le L(\widehat{\boldsymbol\theta};x) $$
   が成り立つ。
   ゆえに、
   $$ \widehat{\boldsymbol\theta} \in \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} L(\boldsymbol\theta;x) $$
   である。
   よって、
   $$ \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} \ell(\boldsymbol\theta;x) \subseteq \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} L(\boldsymbol\theta;x) $$
   である。

-以上より、両方の包含関係が成り立つので、
$$ \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} L(\boldsymbol\theta;x) = \operatorname*{arg\,max}_{\boldsymbol\theta\in\Theta_x} \ell(\boldsymbol\theta;x) $$
が成り立つ。
したがって、尤度関数 $L(\boldsymbol\theta;x)$ の最大点の集合と、対数尤度関数 $\ell(\boldsymbol\theta;x)$ の最大点の集合は一致する。
特に、最尤推定値が存在する場合、尤度関数を最大化して得られる最尤推定値と、対数尤度関数を最大化して得られる最尤推定値は同じである。
$$ \Box$$

正規分布 $N(\mu,\sigma^2)$ の密度関数は
$$ p_{\mu,\sigma^2}(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x-\mu)^2}{2\sigma^2} \right) $$
である。

1. 独立同分布の仮定より、観測値 $x=(x_1,\ldots,x_n)$ に対する尤度関数は
   $$ \begin{align} L(\mu,\sigma^2;x) &= \prod_{i=1}^{n}p_{\mu,\sigma^2}(x_i)\\ &= \prod_{i=1}^{n} \left[ \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x_i-\mu)^2}{2\sigma^2} \right) \right]\\ &= \left( \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \right) \left( \prod_{i=1}^{n} \exp\left( -\frac{(x_i-\mu)^2}{2\sigma^2} \right) \right)\\ &= \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \left( \prod_{i=1}^{n} \exp\left( -\frac{(x_i-\mu)^2}{2\sigma^2} \right) \right)\\ &= \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \exp\left( \sum_{i=1}^{n} -\frac{(x_i-\mu)^2}{2\sigma^2} \right)\\ &= \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \exp\left( -\frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2 \right)\\ &= \left( (2\pi\sigma^2)^{-1/2} \right)^n \exp\left( -\frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2 \right)\\ &= (2\pi\sigma^2)^{-n/2} \exp\left( -\frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2 \right) \end{align} $$
   である。
   $ $
2. ここで、$\sigma^2>0$ であるから、
   $$ L(\mu,\sigma^2;x)>0 $$
   である。
   したがって、自然対数 $\log$ は $(0,\infty)$ 上の狭義単調増加関数であるから、
   尤度関数を最大化する代わりに、対数尤度関数を最大化してよい(冒頭で示した命題)。
   $ $
   対数尤度関数は
   $$ \begin{align} \ell(\mu,\sigma^2;x) &:= \log L(\mu,\sigma^2;x)\\ &= \log\left[ (2\pi\sigma^2)^{-n/2} \exp\left( -\frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2 \right) \right]\\ &= \log\left((2\pi\sigma^2)^{-n/2}\right) + \log\left[ \exp\left( -\frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2 \right) \right]\\ &= -\frac{n}{2}\log(2\pi\sigma^2) + \left( -\frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2 \right)\\ &= -\frac{n}{2}\log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2\\ &= -\frac{n}{2}\log\bigl((2\pi)(\sigma^2)\bigr) - \frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2\\ &= -\frac{n}{2} \left( \log(2\pi)+\log(\sigma^2) \right) - \frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2\\ &= -\frac{n}{2}\log(2\pi) -\frac{n}{2}\log\sigma^2 - \frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2 \end{align} $$
   である。
   $ $
3. $\sigma^2>0$ を固定して、$\mu$ について最大化する。
   $\mu$ に関する偏微分は
   $$ \begin{align} \frac{\partial}{\partial\mu} \ell(\mu,\sigma^2;x) &= -\frac{1}{2\sigma^2} \frac{\partial}{\partial\mu} \sum_{i=1}^{n}(x_i-\mu)^2\\ &= -\frac{1}{2\sigma^2} \sum_{i=1}^{n}2(x_i-\mu)(-1)\\ &= \frac{1}{\sigma^2} \sum_{i=1}^{n}(x_i-\mu)\\ &= \frac{1}{\sigma^2} \left( \sum_{i=1}^{n}x_i-n\mu \right)\\ &= \frac{n}{\sigma^2}(\bar{x}-\mu) \end{align} $$
   である。したがって、
   $$ \frac{\partial}{\partial\mu} \ell(\mu,\sigma^2;x)=0 $$
   であることは、
   $$ \mu=\bar{x} $$
   と同値である(/・ω・)/。また、$2$ 階偏微分は
   $$ \begin{align} \frac{\partial^2}{\partial\mu^2} \ell(\mu,\sigma^2;x) &= \frac{\partial}{\partial\mu} \left[ \frac{n}{\sigma^2}(\bar{x}-\mu) \right]\\ &= -\frac{n}{\sigma^2} \end{align} $$
   である。いま、$n\geq1$ かつ $\sigma^2>0$ であるから、
   $$ -\frac{n}{\sigma^2}<0 $$
   である。
   ゆえに、固定した $\sigma^2>0$ のもとで、$\mu\mapsto\ell(\mu,\sigma^2;x)$ は狭義凹関数であり( 証明はコチラ )。
   $\mu=\bar{x}$ において一意に最大となる(補足を参照)。
   $ $
   したがって、任意の $\mu\in\mathbb R$ と任意の $\sigma^2>0$ に対して、
   $$ \ell(\mu,\sigma^2;x) \le \ell(\bar{x},\sigma^2;x) $$
   が成り立つ。
   $ $
4. 次に、$\sigma^2$ について最大化する。
   $$ S := \sum_{i=1}^{n}(x_i-\bar{x})^2 $$
   とおく。このとき、$v>0$ より
   $$ S=nv>0 $$
   である。
   $\tau:=\sigma^2$ とおくと、$\tau\in(0,\infty)$ であり、
   $$ \ell(\bar{x},\tau;x) = -\frac{n}{2}\log(2\pi) -\frac{n}{2}\log\tau -\frac{S}{2\tau} $$
   である。
   $\tau$ に関する微分は
   $$ \begin{align} \frac{d}{d\tau} \ell(\bar{x},\tau;x) &= -\frac{n}{2\tau} + \frac{S}{2\tau^2}\\ &= \frac{1}{2\tau^2} (S-n\tau) \end{align} $$
   である。したがって、
   $$ \frac{d}{d\tau} \ell(\bar{x},\tau;x)=0 $$
   であることは、
   $$ S-n\tau=0 $$
   と同値である。ゆえに、停留点は
   $$ \tau=\frac{S}{n} $$
   である。また、既に示したように
   $$ \frac{d}{d\tau} \ell(\bar{x},\tau;x) = \frac{1}{2\tau^2}(S-n\tau) $$
   であるから、
   $$ 0<\tau<\frac{S}{n} $$
   のとき、
   $$ \frac{d}{d\tau} \ell(\bar{x},\tau;x)>0 $$
   であり、
   $$ \tau>\frac{S}{n} $$
   のとき、
   $$ \frac{d}{d\tau} \ell(\bar{x},\tau;x)<0 $$
   である。
   したがって、$\ell(\bar{x},\tau;x)$ は
   $$ \tau=\frac{S}{n} $$
   において一意に最大となる。
   すなわち、
   $$ \sigma^2 = \frac{S}{n} = \frac{1}{n} \sum_{i=1}^{n}(x_i-\bar{x})^2 = v $$
   である。

-以上より、対数尤度関数は
$$ \mu=\bar{x}, \qquad \sigma^2= \frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2 $$
において一意に最大となる。
$\log$ は狭義単調増加関数であるため、対数尤度関数を最大にする点と尤度関数を最大にする点は一致する(冒頭で示した命題)。。
ゆえに、観測値 $x$ に対する正規分布 $N(\mu,\sigma^2)$ の最尤推定値は
$$ \hat{\mu}_{\mathrm{MLE}}(x) = \bar{x}, \qquad \hat{\sigma}_{\mathrm{MLE}}^2(x) = \frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2 $$
である。
同値に、最尤推定量は
$$ \hat{\mu}_{\mathrm{MLE}} = \bar{X}, \qquad \hat{\sigma}_{\mathrm{MLE}}^2 = \frac{1}{n}\sum_{i=1}^{n}(X_i-\bar{X})^2 $$
である。
$$ \Box$$

ポアソン分布の確率質量関数は、$x\in\mathbb N_0$ に対して
$$ p_\lambda(x) = \mathbb P_\lambda(X=x) = e^{-\lambda}\frac{\lambda^x}{x!} $$
である。

1. 独立同分布の仮定より、観測値 $x=(x_1,\ldots,x_n)$ に対する尤度関数は
   $$ \begin{align} L(\lambda;x) &= \prod_{i=1}^{n}p_\lambda(x_i)\\ &= \prod_{i=1}^{n} \left( e^{-\lambda}\frac{\lambda^{x_i}}{x_i!} \right)\\ &= \left( \prod_{i=1}^{n}e^{-\lambda} \right) \left( \prod_{i=1}^{n}\lambda^{x_i} \right) \left( \prod_{i=1}^{n}\frac{1}{x_i!} \right)\\ &= e^{-n\lambda} \lambda^{\sum_{i=1}^{n}x_i} \prod_{i=1}^{n}\frac{1}{x_i!}\\ &= e^{-n\lambda} \frac{\lambda^{\sum_{i=1}^{n}x_i}}{\prod_{i=1}^{n}x_i!} \end{align} $$
   である。
   $ $
2. ここで、$\lambda>0$ かつ $(x_1,\ldots,x_n)\in\mathbb N_0^n$ であるから、$L(\lambda;x)>0$ である。
   したがって、自然対数 $\log$ は $(0,\infty)$ 上の狭義単調増加関数であるから、
   尤度関数を最大化する代わりに、対数尤度関数を最大化してよい。
   $ $
   対数尤度関数は
   $$ \begin{align} \ell(\lambda;x) &:= \log L(\lambda;x)\\ &= \log\left( e^{-n\lambda} \frac{\lambda^{\sum_{i=1}^{n}x_i}}{\prod_{i=1}^{n}x_i!} \right)\\ &= \log(e^{-n\lambda}) + \log\left( \lambda^{\sum_{i=1}^{n}x_i} \right) - \log\left( \prod_{i=1}^{n}x_i! \right)\\ &= -n\lambda + \left( \sum_{i=1}^{n}x_i \right)\log\lambda - \log\left( \prod_{i=1}^{n}x_i! \right) \end{align} $$
   である。
   $\lambda$ に関する微分を計算すると、
   $$ \begin{align} \frac{d}{d\lambda}\ell(\lambda;x) &= \frac{d}{d\lambda} \left[ -n\lambda + \left( \sum_{i=1}^{n}x_i \right)\log\lambda - \log\left( \prod_{i=1}^{n}x_i! \right) \right]\\ &= -n + \left( \sum_{i=1}^{n}x_i \right)\frac{1}{\lambda}\\ &= -n+\frac{\sum_{i=1}^{n}x_i}{\lambda} \end{align} $$
   である。
   よって、停留点は
   $$ \begin{align} \frac{d}{d\lambda}\ell(\lambda;x)=0 &\Longleftrightarrow -n+\frac{\sum_{i=1}^{n}x_i}{\lambda}=0\\ &\Longleftrightarrow \frac{\sum_{i=1}^{n}x_i}{\lambda}=n\\ &\Longleftrightarrow \lambda=\frac{1}{n}\sum_{i=1}^{n}x_i\\ &\Longleftrightarrow \lambda=\bar{x} \end{align} $$
   である(*´ω｀)。仮定より、
   $$ \sum_{i=1}^{n}x_i>0 $$
   であるから、
   $$ \bar{x}>0 $$
   である。したがって、$\lambda=\bar{x}$ はパラメータ空間 $(0,\infty)$ に属する。
   $ $
3. 次に、この停留点が最大点であることを確認する。
   $2$ 階微分を計算すると、
   $$ \begin{align} \frac{d^2}{d\lambda^2}\ell(\lambda;x) &= \frac{d}{d\lambda} \left( -n+\frac{\sum_{i=1}^{n}x_i}{\lambda} \right)\\ &= -\frac{\sum_{i=1}^{n}x_i}{\lambda^2} \end{align} $$
   である。
   仮定より、
   $$ \sum_{i=1}^{n}x_i>0 $$
   であり、また $\lambda>0$ であるから、任意の $\lambda\in(0,\infty)$ に対して
   $$ \frac{d^2}{d\lambda^2}\ell(\lambda;x)<0 $$
   が成り立つ。
   したがって、$\ell(\lambda;x)$ は $(0,\infty)$ 上の狭義凹関数である( 証明はコチラ )。
   よって、狭義凹関数 $\ell(\lambda;x)$ の停留点 $\lambda=\bar{x}$ は一意な最大点である( 証明はコチラ )。
   すなわち、
   $$ \operatorname*{arg\,max}_{\lambda\in(0,\infty)} \ell(\lambda;x) = \{\bar{x}\} $$
   である。
   また、$\log$ は狭義単調増加関数であるから、対数尤度関数を最大化する $\lambda$ と尤度関数を最大化する $\lambda$ は一致する(冒頭で示した命題)。
   したがって、
   $$ \operatorname*{arg\,max}_{\lambda\in(0,\infty)} L(\lambda;x) = \{\bar{x}\} $$
   である。

-ゆえに、観測値 $x$ に対するポアソン分布のパラメータ $\lambda$ の最尤推定値は
$$ \hat{\lambda}_{\mathrm{MLE}}(x) = \bar{x} = \frac{1}{n}\sum_{i=1}^{n}x_i $$
である。
同値に、最尤推定量は
$$ \hat{\lambda}_{\mathrm{MLE}} = \bar{X} = \frac{1}{n}\sum_{i=1}^{n}X_i $$
である。
$$ \Box$$

二項分布 $\operatorname{Binomial}(m,q)$ の確率質量関数は、$x\in\{0,1,\ldots,m\}$ に対して
$$ p_q(x) = \binom{m}{x}q^x(1-q)^{m-x} $$
である。

1. 独立同分布の仮定より、観測値 $x=(x_1,\ldots,x_n)$ に対する尤度関数は
   $$ \begin{align} L(q;x) &= \prod_{i=1}^{n}p_q(x_i)\\ &= \prod_{i=1}^{n} \binom{m}{x_i}q^{x_i}(1-q)^{m-x_i}\\ &= \left( \prod_{i=1}^{n}\binom{m}{x_i} \right) q^{\sum_{i=1}^{n}x_i} (1-q)^{\sum_{i=1}^{n}(m-x_i)}\\ &= \left( \prod_{i=1}^{n}\binom{m}{x_i} \right) q^{\sum_{i=1}^{n}x_i} (1-q)^{nm-\sum_{i=1}^{n}x_i} \end{align} $$
   である。ここで、
   $$ S:=\sum_{i=1}^{n}x_i $$
   とおく。仮定より、
   $$ 0< S< nm $$
   である。
   $ $
2. $q\in(0,1)$ であるから、
   $$ L(q;x)>0 $$
   である。
   したがって、自然対数 $\log$ は $(0,\infty)$ 上の狭義単調増加関数であるから、
   尤度関数を最大化する代わりに、対数尤度関数を最大化してよい(冒頭で示した命題)。
   $ $
   対数尤度関数は
   $$ \begin{align} \ell(q;x) &:= \log L(q;x)\\ &= \log\left[ \left( \prod_{i=1}^{n}\binom{m}{x_i} \right) q^S (1-q)^{nm-S} \right]\\ &= \log\left( \prod_{i=1}^{n}\binom{m}{x_i} \right) + S\log q + (nm-S)\log(1-q) \end{align} $$
   である。
   第 $1$ 項は $q$ に依存しない定数である。したがって、$q$ に関する微分は
   $$ \begin{align} \frac{d}{dq}\ell(q;x) &= \frac{d}{dq} \left[ \log\left( \prod_{i=1}^{n}\binom{m}{x_i} \right) + S\log q + (nm-S)\log(1-q) \right]\\ &= \frac{S}{q} - \frac{nm-S}{1-q} \end{align} $$
   である。
   よって、停留点は
   $$ \begin{align} \frac{d}{dq}\ell(q;x)=0 &\Longleftrightarrow \frac{S}{q} - \frac{nm-S}{1-q} =0\\ &\Longleftrightarrow S(1-q)-q(nm-S)=0\\ &\Longleftrightarrow S-Sq-qnm+qS=0\\ &\Longleftrightarrow S-qnm=0\\ &\Longleftrightarrow q=\frac{S}{nm}\\ &\Longleftrightarrow q=\frac{1}{mn}\sum_{i=1}^{n}x_i\\ &\Longleftrightarrow q=\frac{\bar{x}}{m} \end{align} $$
   である。
   また、仮定より $0< S< nm$ であるから、
   $$ 0<\frac{S}{nm}<1 $$
   である。したがって、この停留点はパラメータ空間 $(0,1)$ に属する。
   $ $
3. 次に、この停留点が最大点であることを確認する。
   $2$ 階微分を計算すると、
   $$ \begin{align} \frac{d^2}{dq^2}\ell(q;x) &= \frac{d}{dq} \left( \frac{S}{q} - \frac{nm-S}{1-q} \right)\\ &= -\frac{S}{q^2} - \frac{nm-S}{(1-q)^2} \end{align} $$
   である。
   仮定より、
   $$ S>0, \qquad nm-S>0 $$
   であり、また $q\in(0,1)$ であるから、任意の $q\in(0,1)$ に対して
   $$ \frac{d^2}{dq^2}\ell(q;x)<0 $$
   が成り立つ。
   したがって、$\ell(q;x)$ は $(0,1)$ 上の狭義凹関数である( 証明はコチラ )。
   よって、狭義凹関数 $\ell(q;x)$ の停留点
   $$ q=\frac{S}{nm} $$
   は一意な最大点である( 証明はコチラ )。
   すなわち、
   $$ \operatorname*{arg\,max}_{q\in(0,1)} \ell(q;x) = \left\{ \frac{S}{nm} \right\} $$
   である。
   また、$\log$ は狭義単調増加関数であるから、対数尤度関数を最大化する $q$ と尤度関数を最大化する $q$ は一致する(冒頭で示した命題)。
   したがって、
   $$ \operatorname*{arg\,max}_{q\in(0,1)} L(q;x) = \left\{ \frac{S}{nm} \right\} $$
   である。

-ゆえに、観測値 $x$ に対する二項分布 $\operatorname{Binomial}(m,q)$ の成功確率 $q$ の最尤推定値は
$$ \hat q_{\mathrm{MLE}}(x) = \frac{S}{nm} = \frac{1}{mn}\sum_{i=1}^{n}x_i = \frac{\bar{x}}{m} $$
である。
同値に、最尤推定量は
$$ \hat q_{\mathrm{MLE}} = \frac{1}{mn}\sum_{i=1}^{n}X_i = \frac{\bar{X}}{m} $$
である。
$$ \Box$$

幾何分布の確率質量関数は、$x\in\mathbb N$ に対して
$$ p_q(x) = q(1-q)^{x-1} $$
である。

1. 独立同分布の仮定より、観測値 $x=(x_1,\ldots,x_n)$ に対する尤度関数は
   $$ \begin{align} L(q;x) &= \prod_{i=1}^{n}p_q(x_i)\\ &= \prod_{i=1}^{n}q(1-q)^{x_i-1}\\ &= q^n(1-q)^{\sum_{i=1}^{n}(x_i-1)}\\ &= q^n(1-q)^{\sum_{i=1}^{n}x_i-n} \end{align} $$
   である。
   ここで、$q\in(0,1)$ であるから、
   $$ L(q;x)>0 $$
   である。
   $ $
2. 自然対数 $\log$ は $(0,\infty)$ 上の狭義単調増加関数であるから、
   尤度関数を最大化する代わりに、対数尤度関数を最大化してよい(冒頭で示した命題)。
   $ $
   対数尤度関数は
   $$ \begin{align} \ell(q;x) &:= \log L(q;x)\\ &= \log\left[ q^n(1-q)^{\sum_{i=1}^{n}x_i-n} \right]\\ &= n\log q + \left( \sum_{i=1}^{n}x_i-n \right)\log(1-q) \end{align} $$
   である。
   ここで、
   $$ S:=\sum_{i=1}^{n}x_i $$
   とおく。すると、
   $$ \ell(q;x) = n\log q+(S-n)\log(1-q) $$
   である。$q$ に関して微分すると、
   $$ \begin{align} \frac{d}{dq}\ell(q;x) &= \frac{d}{dq} \left[ n\log q+(S-n)\log(1-q) \right]\\ &= \frac{n}{q} - \frac{S-n}{1-q} \end{align} $$
   である。
   したがって、停留点は
   $$ \begin{align} \frac{d}{dq}\ell(q;x)=0 &\Longleftrightarrow \frac{n}{q} - \frac{S-n}{1-q} =0\\ &\Longleftrightarrow n(1-q)-q(S-n)=0\\ &\Longleftrightarrow n-nq-qS+qn=0\\ &\Longleftrightarrow n-qS=0\\ &\Longleftrightarrow q=\frac{n}{S}\\ &\Longleftrightarrow q=\frac{1}{S/n}\\ &\Longleftrightarrow q=\frac{1}{\bar{x}} \end{align} $$
   である。
   仮定より $\bar{x}>1$ であるから、
   $$ 0<\frac{1}{\bar{x}}<1 $$
   である。したがって、この停留点はパラメータ空間 $(0,1)$ に属する。
   $ $
3. 次に、この停留点が最大点であることを確認する。
   $2$ 階微分を計算すると、
   $$ \begin{align} \frac{d^2}{dq^2}\ell(q;x) &= \frac{d}{dq} \left( \frac{n}{q} - \frac{S-n}{1-q} \right)\\ &= -\frac{n}{q^2} - \frac{S-n}{(1-q)^2} \end{align} $$
   である。
   いま、$q\in(0,1)$ であり、また $x_i\in\mathbb N$ であるから、
   $$ S-n = \sum_{i=1}^{n}(x_i-1) \ge0 $$
   である。
   さらに $n\ge1$ であるから、任意の $q\in(0,1)$ に対して
   $$ \frac{d^2}{dq^2}\ell(q;x) = -\frac{n}{q^2} - \frac{S-n}{(1-q)^2} <0 $$
   である。
   したがって、$\ell(q;x)$ は $(0,1)$ 上の狭義凹関数である( 証明はコチラ )。
   よって、狭義凹関数 $\ell(q;x)$ の停留点
   $$ q=\frac{1}{\bar{x}} $$
   は一意な最大点である( 証明はコチラ )。
   すなわち、
   $$ \operatorname*{arg\,max}_{q\in(0,1)} \ell(q;x) = \left\{ \frac{1}{\bar{x}} \right\} $$
   である。
   また、$\log$ は狭義単調増加関数であるから、対数尤度関数を最大化する $q$ と尤度関数を最大化する $q$ は一致する(冒頭で示した命題)。
   したがって、
   $$ \operatorname*{arg\,max}_{q\in(0,1)} L(q;x) = \left\{ \frac{1}{\bar{x}} \right\} $$
   である。

-ゆえに、観測値 $x$ に対する幾何分布の成功確率 $q$ の最尤推定値は
$$ \hat q_{\mathrm{MLE}}(x) = \frac{1}{\bar{x}} $$
である。
同値に、最尤推定量は
$$ \hat q_{\mathrm{MLE}} = \frac{1}{\bar{X}} $$
である。
$$ \Box$$

1. 独立同分布の仮定より、観測値 $x=(x_1,\ldots,x_n)$ に対する尤度関数は
   $$ \begin{align} L(\lambda;x) &= \prod_{i=1}^{n}p_\lambda(x_i)\\ &= \prod_{i=1}^{n}\lambda e^{-\lambda x_i}\\ &= \lambda^n \exp\left( -\lambda\sum_{i=1}^{n}x_i \right) \end{align} $$
   である。
   ここで、$\lambda>0$ かつ $x_i>0$ であるから、
   $$ L(\lambda;x)>0 $$
   である。
   $ $
2. 自然対数 $\log$ は $(0,\infty)$ 上の狭義単調増加関数であるから、
   尤度関数を最大化する代わりに、対数尤度関数を最大化してよい(冒頭で示した命題)。
   $ $
   対数尤度関数は
   $$ \begin{align} \ell(\lambda;x) &:= \log L(\lambda;x)\\ &= \log\left[ \lambda^n \exp\left( -\lambda\sum_{i=1}^{n}x_i \right) \right]\\ &= n\log\lambda - \lambda\sum_{i=1}^{n}x_i \end{align} $$
   である。
   $\lambda$ に関して微分すると、
   $$ \begin{align} \frac{d}{d\lambda}\ell(\lambda;x) &= \frac{n}{\lambda} - \sum_{i=1}^{n}x_i \end{align} $$
   である。
   $ $
3. したがって、停留点は
   $$ \begin{align} \frac{d}{d\lambda}\ell(\lambda;x)=0 &\Longleftrightarrow \frac{n}{\lambda} - \sum_{i=1}^{n}x_i =0\\ &\Longleftrightarrow \frac{n}{\lambda} = \sum_{i=1}^{n}x_i\\ &\Longleftrightarrow \lambda = \frac{n}{\sum_{i=1}^{n}x_i}\\ &\Longleftrightarrow \lambda = \frac{1}{\bar{x}} \end{align} $$
   である。
   また、$x_i>0$ であるから、
   $$ \sum_{i=1}^{n}x_i>0 $$
   である。したがって、
   $$ \frac{n}{\sum_{i=1}^{n}x_i}>0 $$
   であり、この停留点はパラメータ空間 $(0,\infty)$ に属する。
   $ $
4. 次に、この停留点が最大点であることを確認する。
   $2$ 階微分を計算すると、
   $$ \begin{align} \frac{d^2}{d\lambda^2}\ell(\lambda;x) &= -\frac{n}{\lambda^2} \end{align} $$
   である。
   いま、$n\geq1$ かつ $\lambda>0$ であるから、任意の $\lambda\in(0,\infty)$ に対して
   $$ -\frac{n}{\lambda^2}<0 $$
   である。
   したがって、$\ell(\lambda;x)$ は $(0,\infty)$ 上の狭義凹関数である( 証明はコチラ )。
   よって、狭義凹関数 $\ell(\lambda;x)$ の停留点
   $$ \lambda=\frac{1}{\bar{x}} $$
   は一意な最大点である( 証明はコチラ )。
   すなわち、
   $$ \operatorname*{arg\,max}_{\lambda\in(0,\infty)} \ell(\lambda;x) = \left\{ \frac{1}{\bar{x}} \right\} $$
   である。
   また、$\log$ は狭義単調増加関数であるから、
   対数尤度関数を最大化する $\lambda$ と尤度関数を最大化する $\lambda$ は一致する(冒頭で示した命題)。
   したがって、
   $$ \operatorname*{arg\,max}_{\lambda\in(0,\infty)} L(\lambda;x) = \left\{ \frac{1}{\bar{x}} \right\} $$
   である。

-ゆえに、観測値 $x$ に対する指数分布の率パラメータ $\lambda$ の最尤推定値は
$$ \hat{\lambda}_{\mathrm{MLE}}(x) = \frac{1}{\bar{x}} = \frac{n}{\sum_{i=1}^{n}x_i} $$
である。
同値に、最尤推定量は
$$ \hat{\lambda}_{\mathrm{MLE}} = \frac{1}{\bar{X}} $$
である。
$$ \Box$$