Maximum Entropy Inverse Reinforcementの行間埋め
制約付きエントロピー最大化問題について考える。
\begin{eqnarray} \max & & -\sum_{i=1}^M p_i\log p_i\\ \mathrm{s.t.} & &\sum_{i=1}^M p_i \mathbf{f}_i=\mathbb{E}[\mathbf{f}]\\ & &\sum_{i=1}^Mp_i = 1 \end{eqnarray}
ラグランジュの未定乗数法より、解析解をえる。
\begin{eqnarray} p_i = \dfrac{\exp(\theta^T\mathbf{f}_i)}{\sum_{i=1}^M\exp(\theta^T\mathbf{f}_i)} \end{eqnarray}
\begin{eqnarray} L(p_i,\theta,\lambda) = - \sum_{i=1}^M p_i\log p_i + \theta^T(\sum_{i=1}^M p_i \mathbf{f}_i - \mathbb{E}[\mathbf{f}]) + \mu^T(\sum_{i=1}^Mp_i- 1) \end{eqnarray}
$\dfrac{\partial L}{\partial p_i}=0$より、
$-\log p_i - 1 +\theta^T\mathbf{f}_i+\mu = 0$
よって、
$p_i = \exp (-1 +\theta^T\mathbf{f}_i+\mu)$
$\dfrac{\partial L}{\partial \mu}=0$より、
\begin{eqnarray} \sum_{i=1}^M p_i = 1 \end{eqnarray}
よって、
\begin{eqnarray}
&& \sum_{i=1}^M \exp (-1 +\theta^T\mathbf{f}_i+\mu) = 1\\
&& \exp(-1+\mu)\sum_{i=1}^M \exp (\theta^T\mathbf{f}_i) = 1\\
&& \exp(-1+\mu) = \dfrac{1}{\sum_{i=1}^M \exp (\theta^T\mathbf{f}_i)}
\end{eqnarray}
よって、
\begin{eqnarray} p_{i} = \dfrac{\exp (\theta^T\mathbf{f}_i)}{\sum_{i=1}^M \exp (\theta^T\mathbf{f}_i)} \end{eqnarray}
