【情報理論】ギブス不等式の証明と最大エントロピー原理の初歩

自己情報量 $I_X$ は、各 $\omega\in\Omega$ に対して
$$ I_X(\omega) = \sum_{x\in S_X} \left(-\log_b p_X(x)\right) 1_{\{X=x\}}(\omega) $$
と書ける。実際、$X(\omega)\in S_X$ のとき、ただ $1$ つの $x\in S_X$ について $X(\omega)=x$ となるため、
指示関数の定義より
$$ \sum_{x\in S_X} \left(-\log_b p_X(x)\right) 1_{\{X=x\}}(\omega) = -\log_b p_X(X(\omega)) $$
である。また、$X(\omega)\notin S_X$ のとき、すべての $x\in S_X$ について $X(\omega)\ne x$ であるから、
指示関数の定義から
$$ \sum_{x\in S_X} \left(-\log_b p_X(x)\right) 1_{\{X=x\}}(\omega) = 0 $$
である。したがって、
$$ I_X = \sum_{x\in S_X} \left(-\log_b p_X(x)\right) 1_{\{X=x\}} $$
である。よって、期待値の線形性より、
$$ \begin{align} H_b(X) &= \mathbb E[I_X] \\ &= \mathbb E\left[ \sum_{x\in S_X} \left(-\log_b p_X(x)\right) 1_{\{X=x\}} \right] \\ &= \sum_{x\in S_X} \left(-\log_b p_X(x)\right) \mathbb E[1_{\{X=x\}}] \\ &= \sum_{x\in S_X} \left(-\log_b p_X(x)\right) \mathbb P(X=x) \\ &= \sum_{x\in S_X} \left(-\log_b p_X(x)\right) p_X(x) \\ &= -\sum_{x\in S_X} p_X(x)\log_b p_X(x) \end{align} $$
である( 指示関数の期待値の証明はコチラ )。
なお、$S_X$ は有限集合であり、各 $x\in S_X$ について $p_X(x)>0$ であるから、
$I_X$ は有限個の指示関数の線形結合として表される可測関数である。したがって、$I_X$ の期待値はよく定義される。

本定義では、
$$ H_b(X) = -\sum_{x\in S_X}p_X(x)\log_b p_X(x) $$
であり、$S_X=\{x\in\mathcal X\mid p_X(x)>0\}$ であるため、$p_X(x)=0$ である値 $x$ は初めから和に含まれない。
したがって、この表示では $0\log_b0$ を定義する必要はない。
$ $
一方で、関数 $\varphi:[0,1]\to[0,\infty)$ を
$$ \varphi(t) := \begin{cases} -t\log_b t, & t>0,\\ 0, & t=0 \end{cases} $$
で定めれば、
$$ H_b(X) = \sum_{i=1}^{N}\varphi(p_X(x_i)) $$
と書ける。これを慣用的に
$$ H_b(X) = -\sum_{i=1}^{N}p_X(x_i)\log_b p_X(x_i) $$
と書く。この表示では、$p_X(x_i)=0$ の項を
$$ 0\log_b0=0 $$
と約束して $0$ とみなしている。
この約束は、次の極限に基づく。
$$ \lim_{t\downarrow0}t\log_b t=0 $$
すなわち、$0\log_b0=0$ は、$S_X$ 上の厳密な和表示を、有限集合全体 $\mathcal X$ 上の和表示として書くための慣用的な約束である。

同様に、期待値表示についても注意が必要である。
関数 $g:\mathcal X\to[0,\infty)$ を
$$ g(x) := \begin{cases} -\log_b p_X(x), & x\in S_X,\\ 0, & x\notin S_X \end{cases} $$
で定める。このとき、
$$ I_X=g\circ X $$
であるから、
$$ H_b(X) = \mathbb E[g(X)] $$
である。
ここで、$g(X)$ は $p_X(X)=0$ となる点でも値が $0$ と定められているため、全ての $\omega\in\Omega$ で定義されている。
一方、
$$ -\log_b p_X(X) $$
という式は、$p_X(X(\omega))=0$ となる $\omega$ ではそのままでは定義されない。
したがって、
$$ H_b(X) = \mathbb E[-\log_b p_X(X)] $$
という表示は、$p_X(X)=0$ となる点で値を $0$ と補っていると理解したうえでの慣用的な表示である。

シャノン・エントロピーは、個々の事象そのものではなく、確率変数 $X$ の値の分布全体の不確実性を測る量である。
$X$ の値がある $1$ 点に確率 $1$ で集中している場合、不確実性は最小であり、
$$ H_b(X)=0 $$
である。
一方、$X$ が有限集合
$$ \mathcal X=\{x_1,\ldots,x_N\} $$
上の一様分布に従う場合、すなわち任意の $i=1,\ldots,N$ に対して
$$ p_X(x_i)=\frac{1}{N} $$
である場合、
$$ H_b(X)=\log_b N $$
である(最後に示す)。

対数の底 $b$ はエントロピーの単位を決める。
$b=2$ のとき、単位は bit である。
$b=e$ のとき、単位は nat である。
特に断らない場合は、自然対数を用いて
$$ H(X):=H_e(X) $$
と書く。

以上より、関数
$$ g:(0,\infty)\to\mathbb R,\qquad g(x):=-\log x $$
は $(0,\infty)$ 上で狭義凸である。
ここで、関数
$$ f:(0,\infty)\to\mathbb R,\qquad f(x):=\log x $$
を考える。このとき、任意の $x\in(0,\infty)$ に対して
$$ g(x)=-f(x) $$
である。すなわち、
$$ g=-f $$
である。
$ $
したがって、既に示した「凹関数と凸関数の関係」( 証明はコチラ )より、
$-f=g$ が凸関数であることから、$f$ は $(0,\infty)$ 上で凹関数である。
すなわち、
$$ \log x $$
は $(0,\infty)$ 上で凹関数である。
$ $
さらに、$-\log x$ が狭義凸であることから、$\log x$ は $(0,\infty)$ 上で狭義凹関数である。
すなわち、任意の $x,y\in(0,\infty)$ と任意の $t\in[0,1]$ に対して、
$$ \log(tx+(1-t)y) \geq t\log x+(1-t)\log y $$
が成り立つ。さらに、$x\ne y$ かつ $t\in(0,1)$ のとき、
$$ \log(tx+(1-t)y) > t\log x+(1-t)\log y $$
が成り立つ。

命題において、等号
$$ H_b(X)=0 $$
が成り立つための必要十分条件は、ある $k\in\{1,\ldots,N\}$ が存在して
$$ p_X(x_k)=1 $$
かつ、任意の $i\neq k$ に対して
$$ p_X(x_i)=0 $$
となることである。

1. 実際、まず、ある $k\in\{1,\ldots,N\}$ が存在して
   $$ p_X(x_k)=1 $$
   かつ、任意の $i\neq k$ に対して
   $$ p_X(x_i)=0 $$
   であるとする。このとき、
   $$ S_X=\{x_k\} $$
   であるから、
   $$ \begin{align} H_b(X) &= -\sum_{x\in S_X}p_X(x)\log_b p_X(x) \\ &= -p_X(x_k)\log_b p_X(x_k) \\ &= -1\cdot\log_b1 \\ &= 0 \end{align} $$
   である。
   $ $
2. 逆に、
   $$ H_b(X)=0 $$
   であるとする。
   上の証明より、任意の $x\in S_X$ に対して
   $$ -p_X(x)\log_b p_X(x)\geq0 $$
   である。また、
   $$ H_b(X) = \sum_{x\in S_X}\left(-p_X(x)\log_b p_X(x)\right) = 0 $$
   であるから、非負項の有限和が $0$ であることより、任意の $x\in S_X$ に対して
   $$ -p_X(x)\log_b p_X(x)=0 $$
   である。ここで、$x\in S_X$ であるから
   $$ p_X(x)>0 $$
   である。また、$p_X(x)$ は確率であるから
   $$ p_X(x)\leq1 $$
   である。したがって、
   $$ 0< p_X(x)\leq1 $$
   である。ゆえに、
   $$ 0< p_X(x)<1 \quad\text{または}\quad p_X(x)=1 $$
   のいずれかが成り立つ。
   もし
   $$ 0< p_X(x)<1 $$
   ならば、
   $$ \log_b p_X(x)<0 $$
   であるから、
   $$ -p_X(x)\log_b p_X(x)>0 $$
   となる。これは
   $$ -p_X(x)\log_b p_X(x)=0 $$
   に反する。したがって、任意の $x\in S_X$ に対して
   $$ p_X(x)=1 $$
   である。一方、
   $$ \sum_{i=1}^{N}p_X(x_i)=1 $$
   であるから、$p_X(x)=1$ となる $x\in S_X$ はただ $1$ つである。

-よって、ある $k\in\{1,\ldots,N\}$ が存在して
$$ p_X(x_k)=1 $$
かつ、任意の $i\neq k$ に対して
$$ p_X(x_i)=0 $$
となる。以上より、等号成立条件が示された。

ただし、$u$ と $v$ を入れ替える場合には、同時に $\theta$ を $1-\theta$ に置き換える。
実際、
$$ \theta u+(1-\theta)v = (1-\theta)v+\theta u $$
であり、また、
$$ \theta\varphi(u)+(1-\theta)\varphi(v) = (1-\theta)\varphi(v)+\theta\varphi(u) $$
である。
したがって、$u$ と $v$ の大小関係を入れ替えても、凹性の不等式の形は保たれる。

この命題は、混合分布のエントロピーが、各分布のエントロピーの加重平均以上になることを表している。
すなわち、分布を混合したときの不確実性は、混合前の不確実性の加重平均を下回らない。
特に、$0<\lambda<1$ かつ $p\neq q$ の場合には、混合分布のエントロピーは、各分布のエントロピーの加重平均より真に大きい。

1. $p=(p_1,\ldots,p_n)$ が $\{1,\ldots,n\}$ 上の確率分布であるとは、各 $i=1,\ldots,n$ に対して $p_i$ が番号 $i$ に対応する確率を表し、
   $$ p_i\geq0 \qquad (i=1,\ldots,n) $$
   かつ
   $$ \sum_{i=1}^{n}p_i=1 $$
   を満たすことをいう。
   $ $
2. 同様に、$q=(q_1,\ldots,q_n)$ が $\{1,\ldots,n\}$ 上の確率分布であるとは、
   $$ q_i\geq0 \qquad (i=1,\ldots,n) $$
   かつ
   $$ \sum_{i=1}^{n}q_i=1 $$
   を満たすことをいう。

-すなわち、$p$ と $q$ は、同じ有限集合 $\{1,\ldots,n\}$ 上に定められた $2$ つの確率分布である。

$0<\lambda<1$ とする。このとき、等号
$$ H(\lambda p+(1-\lambda)q) = \lambda H(p)+(1-\lambda)H(q) $$
が成り立つための必要十分条件は、
$$ p=q $$
である。

1. まず、$p=q$ ならば、
   $$ \lambda p+(1-\lambda)q=p $$
   であるから、
   $$ \begin{align} H(\lambda p+(1-\lambda)q) &= H(p) \\ &=H(p)+(\lambda H(p)-\lambda H(p)) \\ &= \lambda H(p)+(1-\lambda)H(p) \\ &= \lambda H(p)+(1-\lambda)H(q) \end{align} $$
   である。
   $ $
2. 逆に、$p\neq q$ とする。このとき、ある $i\in\{1,\ldots,n\}$ が存在して
   $$ p_i\neq q_i $$
   である。
   $\varphi$ は $[0,1]$ 上で狭義凹であり、$0<\lambda<1$ であるから、
   $$ \varphi(\lambda p_i+(1-\lambda)q_i) > \lambda\varphi(p_i)+(1-\lambda)\varphi(q_i) $$
   が成り立つ。
   また、任意の $j\neq i$ に対しても、$\varphi$ の凹性より
   $$ \varphi(\lambda p_j+(1-\lambda)q_j) \geq \lambda\varphi(p_j)+(1-\lambda)\varphi(q_j) $$
   が成り立つ。
   したがって、全ての成分について和を取ると、
   $$ H(\lambda p+(1-\lambda)q) > \lambda H(p)+(1-\lambda)H(q) $$
   である。

-よって、等号が成り立つならば
$$ p=q $$
でなければならない。
なお、$\lambda=0$ または $\lambda=1$ の場合は、$p$ と $q$ が異なっていても等号が成り立つ。

$t>0$ において、
$$ -t\log t = -\frac{\log t}{1/t} $$
と書ける。
$t\downarrow0$ のとき、
$$ \log t\to-\infty \quad\text{かつ}\quad \frac{1}{t}\to\infty $$
であるから、
$$ \frac{\log t}{1/t} $$
は不定形($t\downarrow0$ で分子が $-\infty$、分母が $+\infty$ となる $\frac{-\infty}{+\infty}$ 型)である。そこで、ロピタルの定理を用いると、
$$ \begin{align} \lim_{t\downarrow0}\frac{\log t}{1/t} &= \lim_{t\downarrow0} \frac{\frac{d}{dt}\log t}{\frac{d}{dt}(1/t)} \\ &= \lim_{t\downarrow0} \frac{1/t}{-1/t^2} \\ &= \lim_{t\downarrow0}(-t) \\ &= 0 \end{align} $$
である。したがって、
$$ \begin{align} \lim_{t\downarrow0}(-t\log t) &= -\lim_{t\downarrow0}\frac{\log t}{1/t} \\ &= -0 \\ &= 0 \end{align} $$
である。
このため、関数 $t\mapsto -t\log t$ は、$t=0$ における値を $0$ と定めることで、$[0,1]$ 上の連続関数として扱える。

もし、ある $i$ について
$$ p_i>0,\quad q_i=0 $$
であれば、
$$ -p_i\log q_i $$
は拡張実数値の意味で $+\infty$ と解釈される。
この場合、$p_i=0$ の項は $0$ とみなすという約束のもとで、
$$ -\sum_{i=1}^{n}p_i\log q_i = +\infty $$
となる。したがって、不等式自体は
$$ H(p)\leq+\infty $$
として成り立つ。
しかし、この場合、右辺は有限の実数値ではないため、上の証明で用いたような実数値の範囲での式変形はできない。
そのため、有限値の範囲でギブスの不等式を証明する場合には、
$$ p_i>0\Rightarrow q_i>0 $$
を仮定するのが自然である。
これは、$p$ が正の確率を与える点では、$q$ も正の確率を与えることを要求している。

等号が成り立つための必要十分条件は、
$$ p=q $$
である。

1. まず、$p=q$ ならば、任意の $i=1,\ldots,n$ に対して $p_i=q_i$ であるから、
   $$ -\sum_{i\in S_p}p_i\log p_i = -\sum_{i\in S_p}p_i\log q_i $$
   である。したがって、等号が成り立つ。
   $ $
2. 逆に、等号が成り立つとする。
   i)　このとき、
   $$ -\sum_{i\in S_p}p_i\log p_i = -\sum_{i\in S_p}p_i\log q_i $$
   　　であるから、両辺に $-1$ をかけて、
   $$ \sum_{i\in S_p}p_i\log p_i = \sum_{i\in S_p}p_i\log q_i $$
   　　を得る。したがって、
   $$ \begin{align} 0 &= \sum_{i\in S_p}p_i\log q_i - \sum_{i\in S_p}p_i\log p_i \\ &= \sum_{i\in S_p} \left( p_i\log q_i-p_i\log p_i \right) \\ &= \sum_{i\in S_p} p_i(\log q_i-\log p_i) \\ &= \sum_{i\in S_p} p_i\log\frac{q_i}{p_i} \quad \because i\in S_p\text{ では }p_i>0,q_i>0\text{ である} \end{align} $$
   　　である。ゆえに、
   $$ \sum_{i\in S_p}p_i\log\frac{q_i}{p_i}=0 $$
   　　である。
   $ $
   ii)　一方、証明中で得た不等式より、
   $$ \sum_{i\in S_p}p_i\log\frac{q_i}{p_i} \leq \sum_{i\in S_p}(q_i-p_i) \leq 0 $$
   　　である。いま、
   $$ \sum_{i\in S_p}p_i\log\frac{q_i}{p_i}=0 $$
   　　であるから、
   $$ 0 \leq \sum_{i\in S_p}(q_i-p_i) \leq 0 $$
   　　である。したがって、
   $$ \sum_{i\in S_p}(q_i-p_i)=0 $$
   　　である。よって、
   $$ \begin{align} 0 &= \sum_{i\in S_p}(q_i-p_i) - \sum_{i\in S_p}p_i\log\frac{q_i}{p_i} \\ &= \sum_{i\in S_p} \left\{ (q_i-p_i) - p_i\log\frac{q_i}{p_i} \right\} \end{align} $$
   　　である。
   　　ここで、任意の $i\in S_p$ に対して、対数関数の不等式(直前に示した補題)より
   $$ p_i\log\frac{q_i}{p_i} \leq q_i-p_i $$
   　　であるから、
   $$ (q_i-p_i)-p_i\log\frac{q_i}{p_i}\geq0 $$
   　　であり、かつ、この左辺の非負項の有限和が $0$ であることより、
   　　任意の $i\in S_p$ に対して
   $$ (q_i-p_i)-p_i\log\frac{q_i}{p_i}=0 $$
   　　である。ゆえに、
   $$ p_i\log\frac{q_i}{p_i} = q_i-p_i $$
   　　である。
   　　ここで $i\in S_p$ であるから $p_i>0$ である。よって両辺を $p_i$ で割ると、
   $$ \log\frac{q_i}{p_i} = \frac{q_i}{p_i}-1 $$
   　　である。改めて対数関数の基本不等式
   $$ \log x\leq x-1 $$
   　　の等号成立条件は $x=1$ であるから、
   $$ \frac{q_i}{p_i}=1 $$
   　　である。したがって、任意の $i\in S_p$ に対して
   $$ q_i=p_i $$
   　　である。
   $ $
   iii)　また、
   $$ \sum_{i\in S_p}(q_i-p_i)=0 $$
   　　であり、
   $$ \sum_{i\in S_p}p_i=1 $$
   　　であるから、
   $$ \sum_{i\in S_p}q_i=1 $$
   　　である。一方で、
   $$ \sum_{i=1}^{n}q_i=1 $$
   　　であり、各 $q_i$ は非負である。したがって、任意の $i\notin S_p$ に対して
   $$ q_i=0 $$
   　　である。また、$i\notin S_p$ ならば $p_i=0$ である。
   $ $
   以上より、任意の $i=1,\ldots,n$ に対して
   $$ p_i=q_i $$
   である。すなわち、
   $$ p=q $$
   である。

-以上より、等号成立条件は $p=q$ である。

1. ここで、$0\log0=0$ と約束しているため、
   $$ -\sum_{i=1}^{n}p_i\log p_i = -\sum_{\{i\mid p_i>0\}}p_i\log p_i $$
   である。
2. また、証明のなかで $q_i=\frac{1}{n}>0$ と定めるため、$p_i=0$ の項は
   $$ -p_i\log q_i=0 $$
   となる。

-したがって、
$$ -\sum_{i=1}^{n}p_i\log q_i = -\sum_{\{i\mid p_i>0\}}p_i\log q_i $$
である。

等号
$$ H(X)=\log n $$
が成り立つための必要十分条件は、任意の $i=1,\ldots,n$ に対して
$$ p_i=\frac{1}{n} $$
となることである。
実際、上の証明で用いたギブスの不等式の等号成立条件より、等号が成り立つための必要十分条件は
$$ p_i=q_i \qquad (i=1,\ldots,n) $$
である。ここで、
$$ q_i=\frac{1}{n} $$
であるから、等号成立条件は
$$ p_i=\frac{1}{n} \qquad (i=1,\ldots,n) $$
である。
すなわち、$X$ が $\mathcal X$ 上の一様分布に従う場合、かつその場合に限り、
$$ H(X)=\log n $$
が成り立つ。

以上の証明から、離散確率変数 $X$ のエントロピー $H(X)$ は $\log n$ を上限とし、
この上限に達するのは $X$ が $\{x_1,\ldots,x_n\}$ 上の一様分布に従う場合に限ることが示された。
この結果は情報理論の基本的な結果であり、様々な応用において重要な役割を果たす。
$ $
この定理は、確率質量がもっとも均等に分布している状態、すなわち一様分布において、
不確実性が最大になるという直感的な理解とも一致している。

エントロピーの上限
$$ H(X)\leq\log n $$
は、イェンゼンの不等式を用いて示すこともできる。
$$ S_p:=\{i\in\{1,\ldots,n\}\mid p_i>0\} $$
とおく。このとき、
$$ \sum_{i\in S_p}p_i=1 $$
であり、任意の $i\in S_p$ に対して
$$ \frac{1}{p_i}>0 $$
である。
また、$\log$ は $(0,\infty)$ 上の凹関数(本記事で既に示した)であるから、
イェンゼンの不等式( 証明はコチラ )より、
$$ \sum_{i\in S_p}p_i\log\frac{1}{p_i} \leq \log\left(\sum_{i\in S_p}p_i\frac{1}{p_i}\right) $$
が成り立つ。

1. 左辺は
   $$ \sum_{i\in S_p}p_i\log\frac{1}{p_i} = -\sum_{i\in S_p}p_i\log p_i = H(X) $$
   である。ただし、$p_i=0$ の項は $0\log0=0$ として和に寄与しない。
2. 右辺は
   $$ \begin{align} \log\left(\sum_{i\in S_p}p_i\frac{1}{p_i}\right) &= \log\left(\sum_{i\in S_p}1\right) \\ &= \log |S_p| \end{align} $$
   である。

-したがって、
$$ H(X)\leq\log |S_p|\cdots① $$
である。さらに、定義より
$$ |S_p|\leq n $$
であり、$\log$ は単調増加であるから、
$$ \log |S_p|\leq\log n $$
である。よって、式①より
$$ H(X)\leq\log n $$
が成り立つ。
$ $
■　等号成立条件を考える。
　　$H(X)=\log n$ が成り立つためには、
$$ H(X)=\log |S_p| $$
　　かつ
$$ \log |S_p|=\log n $$
　　が必要である。
　　ここで、$\log$ は $(0,\infty)$ 上で狭義単調増加である。したがって、正の数 $a,b$ に対して
$$ \log a=\log b $$
　　ならば、
$$ a=b $$
　　である。いま、
$$ \log |S_p|=\log n $$
　　であり、$|S_p|>0$ かつ $n>0$ であるから、
$$ |S_p|=n $$
　　である。また、$S_p\subseteq\{1,\ldots,n\}$ であるから、$|S_p|=n$ ならば
$$ S_p=\{1,\ldots,n\} $$
　　である。
　　また、$\log$ は $(0,\infty)$ 上で狭義凹関数(本記事内で証明済み)であるから、
　　イェンゼンの不等式で等号が成り立つためには、
$$ \frac{1}{p_i} $$
　　が $i\in S_p$ によらず一定であることが必要十分である( 詳しくはコチラ )。
　　したがって、ある定数 $c>0$ が存在して、任意の $i\in S_p$ に対して
$$ \frac{1}{p_i}=c $$
　　である。ゆえに、任意の $i\in S_p$ に対して $p_i$ は同じ値である。
　　いま $S_p=\{1,\ldots,n\}$ であり、
$$ \sum_{i=1}^{n}p_i=1 $$
　　であるから、任意の $i=1,\ldots,n$ に対して
$$ p_i=\frac{1}{n} $$
　　である。
　　逆に、任意の $i=1,\ldots,n$ に対して
$$ p_i=\frac{1}{n} $$
　　であれば、
$$ \begin{align} H(X) &= -\sum_{i=1}^{n}\frac{1}{n}\log\frac{1}{n} \\ &= -\sum_{i=1}^{n}\frac{1}{n}(-\log n) \\ &= \log n \end{align} $$
　　である。
　　したがって、$H(X)=\log n$ が成り立つための必要十分条件は、$X$ が $\mathcal X$ 上の一様分布に従うことである。

この命題は、最大エントロピー原理の最も基本的な場合である。
最大エントロピー原理とは、与えられた制約を満たす確率分布の中で、エントロピーを最大にする分布を選ぶという考え方である。
ここで考えている制約は、次の $2$ つだけである。

1. 確率変数 $X$ の値集合が
   $$ \mathcal X=\{x_1,\ldots,x_n\} $$
   で与えられている。
   $ $
2. 確率質量関数は
   $$ p_i\ge0, \qquad \sum_{i=1}^n p_i=1 $$
   を満たす。

-この制約のもとで、シャノン・エントロピー
$$ H(X) = -\sum_{i=1}^n p_i\log p_i $$
を最大にする分布は、一様分布
$$ p_i=\frac{1}{n} \qquad (i=1,\ldots,n) $$
である。そのとき、
$$ \begin{align} H(X) &= -\sum_{i=1}^n \frac{1}{n}\log\frac{1}{n} \\ &= -\sum_{i=1}^n \frac{1}{n}(-\log n) \\ &= \sum_{i=1}^n \frac{1}{n}\log n \\ &= \log n \end{align} $$
である。したがって、
$$ H(X)\le\log n $$
という命題は、値集合が $n$ 個の元からなり、それ以外に追加制約がない場合には、一様分布が最も不確実な分布であることを表している。
この意味で、この命題は最大エントロピー原理と直接関係している。
$ $
【注意】
ただし、最大エントロピー原理はこの命題だけを指すわけではない。
たとえば、平均値や分散などの追加制約がある場合には、その制約を満たす確率分布の中でエントロピーを最大化する分布を考える。
つまり、この命題は、追加制約がなく、値集合の大きさだけが決まっている場合の最大エントロピー原理である。