ソフトマックス関数と数値微分

はじめに

本記事は Mathlog Advent Calendar 2021 12/13 の記事です．12/13の記事は道用基底さんalmost everywhereとルベーグ積分 1 でした．
ソフトマックス関数に興味を持ち、美しいと思った数値微分(差分)を書きます。

ソフトマックス関数の定義

ソフトマックス関数$S_i(x)$を次式の実$n$変数関数とします。
$1\le i\le n$
$$S_i(x_1,x_2,\cdots x_{n-1},x_n):=\frac{e^{x_i}}{\sum _{k=1}^n{e}^{x_k}}$$

ソフトマックス関数が満たす性質

$$0<S_i(x)<1$$
$$\sum _{i=1}^n{S}_i(x)=1$$
$$S_i(x_1+C,x_2+C,\cdots x_{n-1}+C,x_n+C)=S_i(x_1,x_2,\cdots x_{n-1},x_n)$$
$$\frac{d{S}_i}{d{x}_j}={\delta }_{i,j}{S}_i-S_i{S}_j$$
$$\frac{dlog(S_i)}{d{x}_j}={\delta }_{i,j}-S_j$$
${\delta }_{i,j}$はクロネッカーのデルタ

$$u(x_1,x_2,\cdots x_{n-1},x_n):=\sum _{k=1}^n{e}^{x_k}$$
$$\frac{dlog(u(x))}{d{x}_i}=S_i(x)$$

増分の定義

増分${\mathrm{△}}_j$と${▽}_j$を以下のように、$n$変数関数$f(x)$に作用する作用素とします。

$${\mathrm{△}}_{j}f(x):=f(x_1,x_2,\cdots x_j+h\cdots x_{n-1},x_n)$$
$${▽}_{j}f(x):=f(x_1,x_2,\cdots x_j-h\cdots x_{n-1},x_n)$$
この作用素は四則演算を保ちます。

通常の数値微分の例

前進差分

$$\frac{{\mathrm{△}}_{j}f(x)-f(x)}{h}$$

中心差分

$$\frac{{\mathrm{△}}_{j}f(x)-{▽}_{j}f(x)}{2h}$$

両方とも$\underset{h\to 0}{lim}$で微分に一致します。
参照記事 数値微分における3つの差分とその誤差について

"よい"ソフトマックス関数専用の数値微分

以下では"よい"ソフトマックス関数専用の数値微分を提案します。

"よい"専用数値微分とは

今回はソフトマックス関数の性質を用いて、刻み幅$h$によらず、
$1$階偏微分と一致するような数値微分であり、
また前進差分か中心差分を刻み幅$h$で変形した数値微分を"よい"とします。

次の論文のように、差分と微分の誤差を平均作用素で埋めるではなく。
差分（数値微分）を変えることを考えました。
微分方程式の “理想的” 差分化

以下よく用いる式変形

$${\mathrm{△}}_{j}u(x)=u(x)+e^{x_j+h}-e^{x_j}$$
$${▽}_{j}u(x)=u(x)+e^{x_j-h}-e^{x_j}$$
$${\mathrm{△}}_j{S}_i(x)=\frac{e^{x_i+{\delta }_{i,j}h}}{{\mathrm{△}}_{j}u(x)}$$
$${▽}_j{S}_i(x)=\frac{e^{x_i-{\delta }_{i,j}h}}{{▽}_{j}u(x)}$$

前進差分の変形

$$\frac{{\mathrm{△}}_j{S}_i(x)-S_i(x)}{e^h-1}\frac{{\mathrm{△}}_{j}u(x)}{u(x)}=\frac{d{S}_i}{d{x}_j}={\delta }_{i,j}{S}_i-S_i{S}_j$$

前進差分との違い

前進差分との乗法的違いに
$$\frac{h}{e^h-1}$$
と
$$\frac{{\mathrm{△}}_{j}u(x)}{u(x)}$$
があります。２つ目を変形すると、次が成り立ちます。
$$\begin{gathered} \frac{{\mathrm{△}}_{j}u(x)}{u(x)}=1+(e^h-1)S_j \\ \frac{{\mathrm{△}}_{j}u(x)}{u(x)}=\frac{e^{x_k+{\delta }_{j,k}h}}{e^{x_k+{\delta }_{j,k}h}}\frac{{\mathrm{△}}_{j}u(x)}{u(x)}=\frac{e^{{\delta }_{j,k}h}{S}_k(x)}{{\mathrm{△}}_j{S}_k(x)} \end{gathered}$$

中心差分の変形

$$\frac{{\mathrm{△}}_j{S}_i(x)-{▽}_j{S}_i(x)}{e^h-e^{-h}}\frac{{\mathrm{△}}_{j}u(x){▽}_{j}u(x)}{u(x{)}^2}=\frac{d{S}_i}{d{x}_j}={\delta }_{i,j}{S}_i-S_i{S}_j$$

中心差分との違い

中心差分との乗法的違いに
$$\frac{2h}{e^h-e^{-h}}=\frac{h}{sinh(h)}=\frac{h}{2cosh(\frac{h}{2})sinh(\frac{h}{2})}$$
と
$$\frac{{\mathrm{△}}_{j}u(x){▽}_{j}u(x)}{u(x{)}^2}$$
があります。２つ目を変形すると、次が成り立ちます。
$$\frac{{\mathrm{△}}_{j}u(x){▽}_{j}u(x)}{u(x{)}^2}=(1+(e^h-1)S_j)(1+(e^{-h}-1)S_j)=cosh(\frac{h}{2}{)}^2-(2S_j(x)-1{)}^{2}sinh(\frac{h}{2}{)}^2$$
$cosh$と$sinh$は 双曲線関数

$$\frac{{\mathrm{△}}_{j}u(x){▽}_{j}u(x)}{u(x{)}^2}=\frac{e^{x_k+{\delta }_{j,k}h}}{e^{x_k+{\delta }_{j,k}h}}\frac{{\mathrm{△}}_{j}u(x)}{u(x)}\frac{e^{x_k-{\delta }_{j,k}h}}{e^{x_k-{\delta }_{j,k}h}}\frac{{▽}_{j}u(x)}{u(x)}=\frac{S_k(x{)}^2}{{\mathrm{△}}_j{S}_k(x){▽}_j{S}_k(x)}$$

余談

exp和のlog微分

$$\frac{dlog(u(x))}{d{x}_i}=\frac{du(x)}{d{x}_i}\frac{1}{u(x)}=S_i(x)$$
を差分でかくと、
$$\frac{{\mathrm{△}}_{i}u(x)-u(x)}{e^h-1}\frac{1}{u(x)}=S_i(x)$$

$$\frac{{\mathrm{△}}_{i}u(x)-{▽}_{i}u(x)}{e^h-e^{-h}}\frac{1}{u(x)}=S_i(x)$$

ソフトマックス関数の逆数の数値微分

$$\frac{d\frac{1}{S_i(x)}}{d{x}_j}=-\frac{d{S}_i(x)}{d{x}_j}\frac{1}{S_i(x{)}^2}$$
$$\frac{{\mathrm{△}}_j\frac{1}{S_i(x)}-\frac{1}{S_i(x)}}{e^h-1}{e}^{{\delta }_{i,j}h}=-\frac{d{S}_i(x)}{d{x}_j}\frac{1}{S_i(x{)}^2}$$
$$\frac{{\mathrm{△}}_j\frac{1}{S_i(x)}-{▽}_j\frac{1}{S_i(x)}}{e^h-e^{-h}}=-\frac{d{S}_i(x)}{d{x}_j}\frac{1}{S_i(x{)}^2}$$
前進差分や中心差分との違いが$x$に依存しない。

明日の Mathlog Advent Calendar 2021 12/13 は quawaiの記事です、お楽しみに！