クロスエントロピーとカルバック・ライブラー情報量

Def.

Prop&Proof

$p$ の台を
$$ S_p:=\{x\in\mathcal X\mid p(x)>0\} $$
とおく。
クロスエントロピーの定義より、
$$ H_b^{\times}(p,p) = -\sum_{x\in S_p}p(x)\log_b p(x) $$
である。
一方、シャノン・エントロピーの定義より、
$$ H_b(p) = -\sum_{x\in S_p}p(x)\log_b p(x) $$
である。
したがって、
$$ H_b^{\times}(p,p)=H_b(p) $$
が成り立つ。
$$ \Box$$

$p$ の台を
$$ S_p:=\{x\in\mathcal X\mid p(x)>0\} $$
とおく。
任意の $x\in S_p$ に対して $p(x)>0$ かつ $q(x)>0$ であるから、以下の対数はすべて有限な実数として定義される。
$$ \begin{align} H_b^{\times}(p,q)-H_b(p) &= -\sum_{x\in S_p}p(x)\log_b q(x) - \left( -\sum_{x\in S_p}p(x)\log_b p(x) \right) \\ &= \sum_{x\in S_p}p(x)\log_b p(x) - \sum_{x\in S_p}p(x)\log_b q(x) \\ &= \sum_{x\in S_p}p(x)\{\log_b p(x)-\log_b q(x)\} \\ &= \sum_{x\in S_p}p(x)\log_b\frac{p(x)}{q(x)} \\ &= D_b(p\|q) \end{align} $$
である。
したがって、
$$ H_b^{\times}(p,q)-H_b(p)=D_b(p\|q) $$
であるから、
$$ H_b^{\times}(p,q)=H_b(p)+D_b(p\|q) $$
が成り立つ。
$$ \Box$$

$p$ の台を
$$ S_p:=\{x\in\mathcal X\mid p(x)>0\} $$
とおく。
任意の $x\in S_p$ に対して $p(x)>0$ かつ $q(x)>0$ であるから、以下の対数はすべて有限な実数として定義される。

1. 任意の $t>0$ に対して、
   $$ \log t\leq t-1 $$
   が成り立ち、等号成立条件は $t=1$ である( 証明はコチラ )。
   したがって、任意の $x\in S_p$ に対して、$t=\dfrac{q(x)}{p(x)}$ とおくと、
   $$ \log\frac{q(x)}{p(x)} \leq \frac{q(x)}{p(x)}-1 $$
   である。両辺に $-p(x)$ を掛けると、不等号の向きが反転して、
   $$ p(x)\log\frac{p(x)}{q(x)} \geq p(x)-q(x) $$
   である。よって、
   $$ \begin{align} \sum_{x\in S_p}p(x)\log\frac{p(x)}{q(x)} &\geq \sum_{x\in S_p}\{p(x)-q(x)\}\\ &= \sum_{x\in S_p}p(x)-\sum_{x\in S_p}q(x)\\ &= 1-\sum_{x\in S_p}q(x)\\ &\geq0 \end{align} $$
   である。
   ここで、任意の $t>0$ に対して
   $$ \log_b t=\frac{\log t}{\log b} $$
   であり、$b>1$ より $\log b>0$ である。
   したがって、
   $$ \begin{align} D_b(p\|q) &= \sum_{x\in S_p}p(x)\log_b\frac{p(x)}{q(x)}\\ &= \frac{1}{\log b} \sum_{x\in S_p}p(x)\log\frac{p(x)}{q(x)}\\ &\geq0 \end{align} $$
   である。
   $ $
2. 次に、等号成立条件を確認する。
   i) まず、$p=q$ であるとする。このとき、任意の $x\in S_p$ に対して
   $$ \frac{p(x)}{q(x)}=1 $$
   　であるから、
   $$ \log_b\frac{p(x)}{q(x)}=0 $$
   　である。
   　したがって、
   $$ D_b(p\|q)=0 $$
   　である。
   $ $
   ii) 逆に、
   $$ D_b(p\|q)=0 $$
   　であるとする。
   　自然対数で定義した値を
   $$ D_e(p\|q) := \sum_{x\in S_p}p(x)\log\frac{p(x)}{q(x)} $$
   　とおくと、
   $$ D_b(p\|q)=\frac{1}{\log b}D_e(p\|q) $$
   　である。$\log b>0$ であるから、
   $$ D_e(p\|q)=0 $$
   　である。
   　任意の $x\in S_p$ に対して
   $$ r(x):=\frac{q(x)}{p(x)} $$
   　とおく。
   　任意の $t>0$ に対して
   $$ -\log t\geq1-t $$
   　であり、等号成立条件は $t=1$ である。
   　したがって、任意の $x\in S_p$ に対して
   $$ -\log r(x)-(1-r(x))\geq0 $$
   　である。また、
   $$ \begin{align} D_e(p\|q) &= \sum_{x\in S_p}p(x)\{-\log r(x)\} \\ &= 1-\sum_{x\in S_p}q(x) + \sum_{x\in S_p}p(x)\{-\log r(x)-(1-r(x))\} \end{align} $$
   　である。ここで、
   $$ 1-\sum_{x\in S_p}q(x)\geq0 $$
   　であり、かつ各 $x\in S_p$ について
   $$ p(x)\{-\log r(x)-(1-r(x))\}\geq0 $$
   　である。
   　したがって、$D_e(p\|q)=0$ ならば、これらの非負項はすべて $0$ である。
   　ゆえに、任意の $x\in S_p$ に対して
   $$ -\log r(x)=1-r(x) $$
   　である。
   　等号成立条件より、任意の $x\in S_p$ に対して
   $$ r(x)=1 $$
   　である。したがって、任意の $x\in S_p$ に対して
   $$ q(x)=p(x) $$
   　である。さらに、
   $$ 1-\sum_{x\in S_p}q(x)=0 $$
   　より、
   $$ \sum_{x\in S_p}q(x)=1 $$
   　である。
   　$q$ は $\mathcal X$ 上の確率質量関数であるから、
   $$ \sum_{x\in\mathcal X}q(x)=1 $$
   　である。したがって、
   $$ \sum_{x\in\mathcal X\setminus S_p}q(x)=0 $$
   　である。
   　各 $q(x)$ は非負であるから、任意の $x\in\mathcal X\setminus S_p$ に対して
   $$ q(x)=0 $$
   　である。一方、$x\in\mathcal X\setminus S_p$ ならば $p(x)=0$ である。
   　したがって、任意の $x\in\mathcal X$ に対して
   $$ p(x)=q(x) $$
   　が成り立つ。

-以上より、
$$ D_b(p\|q)\geq0 $$
であり、等号成立条件は $p=q$ である。
$$ \Box$$

反例を構成する。
$$ \mathcal X:=\{0,1\} $$
とし、$\mathcal X$ 上の確率分布 $p,q$ を
$$ p(0)=\frac{1}{2}, \quad p(1)=\frac{1}{2} $$
および
$$ q(0)=\frac{1}{4}, \quad q(1)=\frac{3}{4} $$
で定める。
このとき、任意の $x\in\mathcal X$ に対して
$$ p(x)>0, \quad q(x)>0 $$
であるから、$D_{\mathrm{KL}}(p\|q)$ と $D_{\mathrm{KL}}(q\|p)$ はともに有限の実数として定義される。
自然対数を用いて計算する。

1. まず、
   $$ \begin{align} D_{\mathrm{KL}}(p\|q) &= \frac{1}{2}\log\frac{1/2}{1/4} + \frac{1}{2}\log\frac{1/2}{3/4} \\ &= \frac{1}{2}\log2 + \frac{1}{2}\log\frac{2}{3} \\ &= \frac{1}{2}\log\frac{4}{3} \end{align} $$
   である。
2. 次に、
   $$ \begin{align} D_{\mathrm{KL}}(q\|p) &= \frac{1}{4}\log\frac{1/4}{1/2} + \frac{3}{4}\log\frac{3/4}{1/2} \\ &= \frac{1}{4}\log\frac{1}{2} + \frac{3}{4}\log\frac{3}{2} \end{align} $$
   である。

-ここで差を計算すると、
$$ \begin{align} D_{\mathrm{KL}}(p\|q)-D_{\mathrm{KL}}(q\|p) &= \frac{1}{2}\log\frac{4}{3} - \left( \frac{1}{4}\log\frac{1}{2} + \frac{3}{4}\log\frac{3}{2} \right) \\ &= \frac{1}{4}\log\frac{256}{243} \end{align} $$
である。さらに、
$$ \frac{256}{243}>1 $$
であり、自然対数 $\log$ は単調増加であるから、
$$ \frac{1}{4}\log\frac{256}{243}>0 $$
である。したがって、
$$ D_{\mathrm{KL}}(p\|q)>D_{\mathrm{KL}}(q\|p) $$
である。よって、
$$ D_{\mathrm{KL}}(p\|q)\ne D_{\mathrm{KL}}(q\|p) $$
が成り立つ。
以上より、カルバック・ライブラー情報量は一般には対称ではない。
$$ \Box$$

反例を構成する。
有限集合を
$$ \mathcal X:=\{0,1\} $$
とする。
$\mathcal X$ 上の確率分布 $P,Q,R$ を
$$ P(0)=\frac{1}{2}, \quad P(1)=\frac{1}{2} $$
$$ Q(0)=\frac{2}{5}, \quad Q(1)=\frac{3}{5} $$
$$ R(0)=\frac{3}{10}, \quad R(1)=\frac{7}{10} $$
で定める。
このとき、$P,Q,R$ はいずれも $\mathcal X$ 上の確率分布であり、すべての点で正である。
カルバック・ライブラー情報量を自然対数により
$$ D_{\mathrm{KL}}(A\|B) := \sum_{x\in\mathcal X}A(x)\log\frac{A(x)}{B(x)} $$
で定める。

1. まず、
   $$ \begin{align} D_{\mathrm{KL}}(P\|R) &= \frac{1}{2}\log\frac{1/2}{3/10} + \frac{1}{2}\log\frac{1/2}{7/10} \\ &= \frac{1}{2}\log\frac{5}{3} + \frac{1}{2}\log\frac{5}{7} \\ &= \frac{1}{2}\log\frac{25}{21} \end{align} $$
   である。
2. 次に、
   $$ \begin{align} D_{\mathrm{KL}}(P\|Q) &= \frac{1}{2}\log\frac{1/2}{2/5} + \frac{1}{2}\log\frac{1/2}{3/5} \\ &= \frac{1}{2}\log\frac{5}{4} + \frac{1}{2}\log\frac{5}{6} \\ &= \frac{1}{2}\log\frac{25}{24} \end{align} $$
   である。
3. さらに、
   $$ \begin{align} D_{\mathrm{KL}}(Q\|R) &= \frac{2}{5}\log\frac{2/5}{3/10} + \frac{3}{5}\log\frac{3/5}{7/10} \\ &= \frac{2}{5}\log\frac{4}{3} + \frac{3}{5}\log\frac{6}{7} \end{align} $$
   である。

-したがって、
$$ \begin{align} &D_{\mathrm{KL}}(P\|R) - D_{\mathrm{KL}}(P\|Q) - D_{\mathrm{KL}}(Q\|R) \\ &= \frac{1}{2}\log\frac{25}{21} - \frac{1}{2}\log\frac{25}{24} - \frac{2}{5}\log\frac{4}{3} - \frac{3}{5}\log\frac{6}{7} \\ &= \frac{1}{2}\log\frac{8}{7} - \frac{2}{5}\log\frac{4}{3} - \frac{3}{5}\log\frac{6}{7} \\ &= \frac{1}{10} \log\left\{ \left(\frac{8}{7}\right)^5 \left(\frac{3}{4}\right)^4 \left(\frac{7}{6}\right)^6 \right\} \\ &= \frac{1}{10}\log\frac{14}{9} \end{align} $$
である。
ここで、
$$ \frac{14}{9}>1 $$
であり、自然対数 $\log$ は単調増加であるから、
$$ \frac{1}{10}\log\frac{14}{9}>0 $$
である。
よって、
$$ D_{\mathrm{KL}}(P\|R) - D_{\mathrm{KL}}(P\|Q) - D_{\mathrm{KL}}(Q\|R)>0 $$
である。
したがって、
$$ D_{\mathrm{KL}}(P\|R) > D_{\mathrm{KL}}(P\|Q)+D_{\mathrm{KL}}(Q\|R) $$
が成り立つ。
よって、カルバック・ライブラー情報量は一般には三角不等式を満たさない。
$$ \Box$$

任意の $i=1,\ldots,n$ に対して
$$ p_i:=\frac{a_i}{A}, \quad q_i:=\frac{b_i}{B} $$
と定める。
このとき、任意の $i=1,\ldots,n$ に対して
$$ p_i\geq0,\quad q_i\geq0 $$
であり、
$$ \sum_{i=1}^n p_i = \frac{1}{A}\sum_{i=1}^n a_i = 1 $$
かつ
$$ \sum_{i=1}^n q_i = \frac{1}{B}\sum_{i=1}^n b_i = 1 $$
である。
したがって、$p=(p_1,\ldots,p_n)$ と $q=(q_1,\ldots,q_n)$ は $\{1,\ldots,n\}$ 上の確率分布である。
また、$p_i>0$ ならば $a_i>0$ である。このとき、仮定より $b_i>0$ であるから、$q_i>0$ である。したがって、
$$ p_i>0\Rightarrow q_i>0 $$
が成り立つ。
よって、ギブスの不等式を $p$ と $q$ に適用できる( 証明はコチラ )。すなわち、
$$ -\sum_{\{i\mid p_i>0\}}p_i\log p_i \leq -\sum_{\{i\mid p_i>0\}}p_i\log q_i $$
である。
これを移項すると、
$$ \sum_{\{i\mid p_i>0\}}p_i\log\frac{p_i}{q_i}\geq0 $$
である。
ここで、$p_i>0$ であることと $a_i>0$ であることは同値であるから、
$$ \sum_{\{i\mid a_i>0\}} \frac{a_i}{A} \log \frac{a_i/A}{b_i/B} \geq0 $$
である。
両辺に $A>0$ を掛けると、
$$ \sum_{\{i\mid a_i>0\}} a_i \log \frac{a_i/A}{b_i/B} \geq0 $$
である。
さらに、
$$ \frac{a_i/A}{b_i/B} = \frac{a_iB}{b_iA} = \frac{a_i}{b_i}\cdot\frac{B}{A} $$
であるから、
$$ \begin{align} 0 &\leq \sum_{\{i\mid a_i>0\}} a_i \log \left( \frac{a_i}{b_i}\cdot\frac{B}{A} \right)\\ &= \sum_{\{i\mid a_i>0\}} a_i\log\frac{a_i}{b_i} + \sum_{\{i\mid a_i>0\}} a_i\log\frac{B}{A}\\ &= \sum_{\{i\mid a_i>0\}} a_i\log\frac{a_i}{b_i} + A\log\frac{B}{A} \end{align} $$
である。
したがって、
$$ \sum_{\{i\mid a_i>0\}} a_i\log\frac{a_i}{b_i} \geq -A\log\frac{B}{A} $$
である。ここで、
$$ -A\log\frac{B}{A} = A\log\frac{A}{B} $$
であるから、
$$ \sum_{\{i\mid a_i>0\}} a_i\log\frac{a_i}{b_i} \geq A\log\frac{A}{B} $$
が成り立つ。
$$ \Box$$

$\lambda\in[0,1]$ を任意に固定する。

1. $\lambda=0$ または $\lambda=1$ の場合を確認する。
   $\lambda=0$ のとき、
   $$ \lambda p_1+(1-\lambda)p_2=p_2, \quad \lambda q_1+(1-\lambda)q_2=q_2 $$
   であるから、
   $$ D_b(\lambda p_1+(1-\lambda)p_2\|\lambda q_1+(1-\lambda)q_2) = D_b(p_2\|q_2) $$
   である。また、
   $$ \lambda D_b(p_1\|q_1)+(1-\lambda)D_b(p_2\|q_2) = D_b(p_2\|q_2) $$
   である。したがって、この場合は等号が成り立つ。
   $\lambda=1$ のときも同様に等号が成り立つ。
   $ $
2. 以下、$0<\lambda<1$ とする。
   いま、
   $$ p_\lambda:=\lambda p_1+(1-\lambda)p_2 $$
   および
   $$ q_\lambda:=\lambda q_1+(1-\lambda)q_2 $$
   とおく。
   このとき、$p_\lambda$ と $q_\lambda$ は $\mathcal X$ 上の確率質量関数である。
   実際、任意の $x\in\mathcal X$ に対して
   $$ p_\lambda(x)\geq0, \quad q_\lambda(x)\geq0 $$
   であり、
   $$ \sum_{x\in\mathcal X}p_\lambda(x) = \lambda\sum_{x\in\mathcal X}p_1(x) + (1-\lambda)\sum_{x\in\mathcal X}p_2(x) = \lambda+(1-\lambda) = 1 $$
   である。同様に、
   $$ \sum_{x\in\mathcal X}q_\lambda(x)=1 $$
   である。
   $ $
3. $p_\lambda(x)>0\Rightarrow q_\lambda(x)>0$ を確認する。
   任意に $x\in\mathcal X$ を取り、
   $$ p_\lambda(x)>0 $$
   とする。
   このとき、
   $$ \lambda p_1(x)+(1-\lambda)p_2(x)>0 $$
   である。各項は非負であるから、
   $$ \lambda p_1(x)>0 $$
   または
   $$ (1-\lambda)p_2(x)>0 $$
   が成り立つ。
   $ $
   i) $\lambda p_1(x)>0$ の場合。
   　このとき、$\lambda>0$ かつ $p_1(x)>0$ である。仮定より $q_1(x)>0$ である。
   　したがって、
   $$ \lambda q_1(x)>0 $$
   　である。
   　また、$1-\lambda\geq0$ かつ $q_2(x)\geq0$ であるから、
   $$ (1-\lambda)q_2(x)\geq0 $$
   　である。よって、
   $$ q_\lambda(x) = \lambda q_1(x)+(1-\lambda)q_2(x) \geq \lambda q_1(x) >0 $$
   　である。
   ii) $(1-\lambda)p_2(x)>0$ の場合。
   　このとき、$1-\lambda>0$ かつ $p_2(x)>0$ である。仮定より $q_2(x)>0$ である。
   　したがって、
   $$ (1-\lambda)q_2(x)>0 $$
   　である。
   　また、$\lambda\geq0$ かつ $q_1(x)\geq0$ であるから、
   $$ \lambda q_1(x)\geq0 $$
   　である。よって、
   $$ q_\lambda(x) = \lambda q_1(x)+(1-\lambda)q_2(x) \geq (1-\lambda)q_2(x) >0 $$
   　である。
   以上より、
   $$ p_\lambda(x)>0\Rightarrow q_\lambda(x)>0 $$
   が成り立つ。
   $ $
4. 補助関数を用意する。
   補助関数 $\eta_b$ を $\mathbb R\cup\{+\infty\}$ に値をもつ関数として、
   $$ \eta_b(a,c) := \begin{cases} a\log_b\dfrac{a}{c}, & a>0\text{ かつ }c>0,\\ 0, & a=0,\\ +\infty, & a>0\text{ かつ }c=0 \end{cases} $$
   で定める。
   このとき、任意の確率質量関数 $r,s$ について、任意の $x\in\mathcal X$ に対して
   $$ r(x)>0\Rightarrow s(x)>0 $$
   が成り立つならば、
   $$ D_b(r\|s) = \sum_{x\in\mathcal X}\eta_b(r(x),s(x)) $$
   である。
   特に、
   $$ D_b(p_i\|q_i) = \sum_{x\in\mathcal X}\eta_b(p_i(x),q_i(x)) \quad (i=1,2) $$
   であり、また
   $$ D_b(p_\lambda\|q_\lambda) = \sum_{x\in\mathcal X}\eta_b(p_\lambda(x),q_\lambda(x)) $$
   である。
   $ $
5. 対数和不等式を適用する。
   自然対数の場合の対数和不等式を、$\log_b t=\dfrac{\log t}{\log b}$ によって底 $b$ に直して用いる。
   任意の $x\in\mathcal X$ を固定する。
   $$ a_1:=\lambda p_1(x), \quad a_2:=(1-\lambda)p_2(x), \quad c_1:=\lambda q_1(x), \quad c_2:=(1-\lambda)q_2(x) $$
   とおく。
   このとき、
   $$ a_1+a_2=p_\lambda(x), \quad c_1+c_2=q_\lambda(x) $$
   である。
   $ $
   i) $a_1+a_2=0$ の場合。
   　$a_1\geq0$ かつ $a_2\geq0$ であるから、
   $$ a_1=0, \quad a_2=0 $$
   　である。したがって、補助関数 $\eta_b$ の定義より、
   $$ \eta_b(a_1+a_2,c_1+c_2)=\eta_b(0,c_1+c_2)=0 $$
   　である。
   　また、同じく $\eta_b$ の定義より、
   $$ \eta_b(a_1,c_1)=\eta_b(0,c_1)=0 $$
   　かつ
   $$ \eta_b(a_2,c_2)=\eta_b(0,c_2)=0 $$
   　である。ゆえに、
   $$ \eta_b(a_1+a_2,c_1+c_2) = \eta_b(a_1,c_1)+\eta_b(a_2,c_2) $$
   　である。特に、
   $$ \eta_b(a_1+a_2,c_1+c_2) \leq \eta_b(a_1,c_1)+\eta_b(a_2,c_2) $$
   　が成り立つ。
   $ $
   ii) $a_1+a_2>0$ の場合。
   　このとき、$a_1>0$ または $a_2>0$ である。
   　また、$0<\lambda<1$ より、仮定から
   $$ a_1>0\Rightarrow p_1(x)>0\Rightarrow q_1(x)>0\Rightarrow c_1>0 $$
   　であり、同様に
   $$ a_2>0\Rightarrow c_2>0 $$
   　である。
   　したがって、$a_1>0$ または $a_2>0$ であることから、$c_1>0$ または $c_2>0$ である。ゆえに、
   $$ c_1+c_2>0 $$
   　である。また、
   $$ a_j>0\Rightarrow c_j>0 \quad (j=1,2) $$
   　が成り立つ。
   　したがって、底 $b$ に関する対数和不等式を $a_1,a_2,c_1,c_2$ に適用できるので、
   $$ \eta_b(a_1+a_2,c_1+c_2) \leq \eta_b(a_1,c_1)+\eta_b(a_2,c_2) $$
   　が成り立つ。
   $ $
   i) と ii) より、すべての場合において、
   $$ \eta_b(a_1+a_2,c_1+c_2) \leq \eta_b(a_1,c_1)+\eta_b(a_2,c_2) $$
   が成り立つ。
   すなわち、任意の $x\in\mathcal X$ に対して、
   $$ \begin{align} \eta_b(p_\lambda(x),q_\lambda(x)) &= \eta_b(\lambda p_1(x)+(1-\lambda)p_2(x),\lambda q_1(x)+(1-\lambda)q_2(x)) \\ &\leq \eta_b(\lambda p_1(x),\lambda q_1(x)) + \eta_b((1-\lambda)p_2(x),(1-\lambda)q_2(x)) \end{align} $$
   である。
   ここで、任意の $\alpha>0$ と任意の $a,c\geq0$ に対して、
   $$ \eta_b(\alpha a,\alpha c)=\alpha\eta_b(a,c) $$
   が成り立つ(補足を参照)。
   いま $0<\lambda<1$ であるから、
   $$ \eta_b(\lambda p_1(x),\lambda q_1(x)) = \lambda\eta_b(p_1(x),q_1(x)) $$
   かつ
   $$ \eta_b((1-\lambda)p_2(x),(1-\lambda)q_2(x)) = (1-\lambda)\eta_b(p_2(x),q_2(x)) $$
   である。
   したがって、任意の $x\in\mathcal X$ に対して、
   $$ \eta_b(p_\lambda(x),q_\lambda(x)) \leq \lambda\eta_b(p_1(x),q_1(x)) + (1-\lambda)\eta_b(p_2(x),q_2(x)) $$
   が成り立つ。
   $ $
6. 有限和を取る。
   $\mathcal X$ は有限集合であるから、前段の不等式を $x\in\mathcal X$ について足し合わせることができる。よって、
   $$ \begin{align} D_b(p_\lambda\|q_\lambda) &= \sum_{x\in\mathcal X}\eta_b(p_\lambda(x),q_\lambda(x))\\ &\leq \sum_{x\in\mathcal X} \{\lambda\eta_b(p_1(x),q_1(x))+(1-\lambda)\eta_b(p_2(x),q_2(x))\}\\ &= \lambda\sum_{x\in\mathcal X}\eta_b(p_1(x),q_1(x)) + (1-\lambda)\sum_{x\in\mathcal X}\eta_b(p_2(x),q_2(x))\\ &= \lambda D_b(p_1\|q_1) + (1-\lambda)D_b(p_2\|q_2) \end{align} $$
   である。

-すなわち、
$$ D_b(\lambda p_1+(1-\lambda)p_2\|\lambda q_1+(1-\lambda)q_2) \leq \lambda D_b(p_1\|q_1)+(1-\lambda)D_b(p_2\|q_2) $$
が成り立つ。
$$ \Box$$

1. まず、条件付き確率質量関数が定義できることを確認する。
   $x\in S_X$ とする。このとき、
   $$ p_X(x)>0 $$
   であるから、ある $y\in\mathcal Y$ が存在して
   $$ p(x,y)>0 $$
   である。
   仮定より、
   $$ q(x,y)>0 $$
   である。したがって、
   $$ q_X(x)=\sum_{y'\in\mathcal Y}q(x,y')\geq q(x,y)>0 $$
   である。よって、任意の $x\in S_X$ に対して、$q_X(x)>0$ が成り立つ。
   したがって、$p_{Y\mid X=x}$ と $q_{Y\mid X=x}$ はどちらも定義される。
   また、任意の $x\in S_X$ に対して、
   $$ \sum_{y\in\mathcal Y}p_{Y\mid X=x}(y) = \sum_{y\in\mathcal Y}\frac{p(x,y)}{p_X(x)} = \frac{p_X(x)}{p_X(x)} = 1 $$
   であり、同様に、
   $$ \sum_{y\in\mathcal Y}q_{Y\mid X=x}(y)=1 $$
   である。
   したがって、$p_{Y\mid X=x}$ と $q_{Y\mid X=x}$ は $\mathcal Y$ 上の確率質量関数である。
   さらに、$x\in S_X$ とし、
   $$ p_{Y\mid X=x}(y)>0 $$
   とする。このとき、
   $$ p(x,y)>0 $$
   である。仮定より、
   $$ q(x,y)>0 $$
   であるから、
   $$ q_{Y\mid X=x}(y)=\frac{q(x,y)}{q_X(x)}>0 $$
   である。
   したがって、任意の $x\in S_X$ に対して、
   $$ p_{Y\mid X=x}(y)>0\Rightarrow q_{Y\mid X=x}(y)>0 $$
   が成り立つ。
   $ $
2. 次に、連鎖律を示す。
   カルバック・ライブラー情報量の定義より、
   $$ D_b(p\|q) = \sum_{\substack{x\in\mathcal X,\ y\in\mathcal Y\\ p(x,y)>0}} p(x,y)\log_b\frac{p(x,y)}{q(x,y)} $$
   である。
   $p(x,y)>0$ ならば、$p_X(x)>0$ であるから $x\in S_X$ である。
   また、上で示したように、このとき $q_X(x)>0$ である。さらに仮定より $q(x,y)>0$ である。
   したがって、
   $$ p(x,y)=p_X(x)p_{Y\mid X=x}(y) $$
   かつ
   $$ q(x,y)=q_X(x)q_{Y\mid X=x}(y) $$
   である。
   よって、
   $$ \begin{align} D_b(p\|q) &= \sum_{\substack{x\in\mathcal X,\ y\in\mathcal Y\\ p(x,y)>0}} p(x,y) \log_b \frac{p_X(x)p_{Y\mid X=x}(y)} {q_X(x)q_{Y\mid X=x}(y)} \\ &= \sum_{\substack{x\in\mathcal X,\ y\in\mathcal Y\\ p(x,y)>0}} p(x,y) \left\{ \log_b\frac{p_X(x)}{q_X(x)} + \log_b\frac{p_{Y\mid X=x}(y)}{q_{Y\mid X=x}(y)} \right\} \\ &= \sum_{\substack{x\in\mathcal X,\ y\in\mathcal Y\\ p(x,y)>0}} p(x,y)\log_b\frac{p_X(x)}{q_X(x)} + \sum_{\substack{x\in\mathcal X,\ y\in\mathcal Y\\ p(x,y)>0}} p(x,y)\log_b\frac{p_{Y\mid X=x}(y)}{q_{Y\mid X=x}(y)} \end{align} $$
   である。
   i) 第 $1$ 項を計算する。
   　$p(x,y)=0$ の点を加えても和の値は変わらないので、
   $$ \begin{align} \sum_{\substack{x\in\mathcal X,\ y\in\mathcal Y\\ p(x,y)>0}} p(x,y)\log_b\frac{p_X(x)}{q_X(x)} &= \sum_{x\in S_X} \sum_{y\in\mathcal Y} p(x,y)\log_b\frac{p_X(x)}{q_X(x)} \\ &= \sum_{x\in S_X} \left(\sum_{y\in\mathcal Y}p(x,y)\right) \log_b\frac{p_X(x)}{q_X(x)} \\ &= \sum_{x\in S_X} p_X(x)\log_b\frac{p_X(x)}{q_X(x)} \\ &= D_b(p_X\|q_X) \end{align} $$
   　である。
   $ $
   ii) 第 $2$ 項を計算する。
   　$x\in S_X$ ならば、
   $$ p(x,y)=p_X(x)p_{Y\mid X=x}(y) $$
   　である。また、
   $$ p(x,y)>0 \Longleftrightarrow p_{Y\mid X=x}(y)>0 $$
   　である。
   　したがって、
   $$ \begin{align} &\sum_{\substack{x\in\mathcal X,\ y\in\mathcal Y\\ p(x,y)>0}} p(x,y)\log_b\frac{p_{Y\mid X=x}(y)}{q_{Y\mid X=x}(y)} \\ &= \sum_{x\in S_X} \sum_{\substack{y\in\mathcal Y\\ p_{Y\mid X=x}(y)>0}} p_X(x)p_{Y\mid X=x}(y) \log_b\frac{p_{Y\mid X=x}(y)}{q_{Y\mid X=x}(y)} \\ &= \sum_{x\in S_X} p_X(x) \sum_{\substack{y\in\mathcal Y\\ p_{Y\mid X=x}(y)>0}} p_{Y\mid X=x}(y) \log_b\frac{p_{Y\mid X=x}(y)}{q_{Y\mid X=x}(y)} \\ &= \sum_{x\in S_X} p_X(x) D_b(p_{Y\mid X=x}\|q_{Y\mid X=x}) \end{align} $$
   　である。

-以上より、
$$ D_b(p\|q) = D_b(p_X\|q_X) + \sum_{x\in S_X}p_X(x)D_b(p_{Y\mid X=x}\|q_{Y\mid X=x}) $$
が成り立つ。
ここで、
$$ \mathbb E_{p_X} \left[ D_b(p_{Y\mid X}\|q_{Y\mid X}) \right] := \sum_{x\in S_X}p_X(x)D_b(p_{Y\mid X=x}\|q_{Y\mid X=x}) $$
と読めば、
$$ D_b(p\|q) = D_b(p_X\|q_X) + \mathbb E_{p_X} \left[ D_b(p_{Y\mid X}\|q_{Y\mid X}) \right] $$
である。
$$ \Box$$