Φ-ダイバージェンスはKLダイバージェンスを包含してるよ。
z=1で最小値0をとる非負の凸関数$\phi(z)$に対して, $\phi$-ダイバージェンスは下式で定義される.
\begin{eqnarray} \mathcal{H}_{\phi}\left(\mathbb{Q}|\mathbb{P}\right):= \begin{cases} \sum_{i}{p_i\phi\left(\dfrac{q_i}{p_i}\right)} & 1^Tq=1,q\geq0 \\ +\infty & \text{その他.} \end{cases} \end{eqnarray}
$\dfrac{q_i}{p_i}=1$のとき, $\phi(1)=0$なので,
$$ \sum_{i}{p_i\phi\left(\dfrac{q_i}{p_i}\right)} = \sum_{i}{p_i\phi\left(1\right)} = 0 $$
$\dfrac{q_i}{p_i}\neq1$のとき,$\phi\left(\dfrac{q_i}{p_i}\right)\geq0$なので, $\mathcal{H}_{\phi}\left(\mathbb{Q}|\mathbb{P}\right)$は正である.
$\phi(z)=z\ln z-z+1$のとき, $\phi$-ダイバージェンスはKullback-Leiblerダイバージェンスに一致する.
\begin{eqnarray} \mathcal{H}_{\phi}:= \begin{cases} \sum_{i}{q_i\ln\left(\dfrac{q_i}{p_i}\right)} & 1^Tq=1,q\geq0 \\ +\infty & \text{その他.} \end{cases} \end{eqnarray}
$\phi(z)=z\ln z-z+1$とおく.
$\sum_{i}{p_i\phi\left(\dfrac{q_i}{p_i}\right)}$
$ = \sum_{i}{ p_i \left( \dfrac{q_i}{p_i}\ln \dfrac{q_i}{p_i}-\dfrac{q_i}{p_i}+1 \right) }$ ($\because $ $\phi(z)$を代入)
$ = \sum_{i}{ \left( q_i\ln \dfrac{q_i}{p_i}-q_i+p_i \right) } $
$ = \sum_{i}{ q_i\ln \dfrac{q_i}{p_i} } -\sum_{i}{q_i}+\sum_{i}{p_i} $
$ = \sum_{i}{ q_i\ln \dfrac{q_i}{p_i} } $ ($\because $ $\sum_{i}{p_i}=1$, $\sum_{i}{q_i}=1$, )
$\phi(z)=z\ln z-z+1$のとき, $\phi$-ダイバージェンスはKullback-Leiblerダイバージェンスに一致する.
