【情報幾何学】指数型分布族が定めるHesse構造

2021 5/17 divergenceについて追記
2022 1/29 命題5の証明を修正

これは情報幾何学の勉強ノートです。仮定する微分幾何の知識は多様体、座標近傍系、テンソル場、Poincareの補題、リーマン構造、接続、捩率、曲率などです。またこのノートの目標である指数型分布族が定めるHesse構造（双対平坦構造ともいう）までできる限り最短でたどり着けるようにしました。基本的には私の勉強用です。

私は情報幾何が専門ではありません。このノートを書いた理由ですが、情報幾何の初学の段階において、登場する色々な設定や座標やその他の概念の散在的で有機的な繋がりがいまいち多様体論的に、幾何学的にすっきり整理して理解しにくかったという経験があります。なのでこのノートでは一つの論理的な道筋がとらえやすいことと、conceptualな単純な理解ができることに配慮したつもりです。そのためやや叙述的な文章があるかもしれません。またこのノートではいくらかの重要な特徴付けが書かれていません。あくまでも種々の概念に慣れることのみを目的としたからです。従って読んでいただくにしても補助教材としてお読みください。私も勉強し始めたばかりですので、分からないことも多いです。数学的な間違いもあるかもしれません（数学が苦手なので）。また情報幾何に興味を持つ方々との議論のきっかけになればという思いもありこのノートを書きましたので何か思うことがありましたらご連絡ください。あるいは致命的なミスをしていたら教えてください。

以下では、多様体は滑らかを仮定します（滑らかさについてどの程度仮定すれば情報幾何をやる上で十分なのかよく知らない）。なお誤解の余地の無い場合には断らずにEinstein規約を使います。計量によるmusical isomorphismまたはmetric dual（添え字の上げ下げのこと）を$\mathrm{♯}:T_p^{\ast }M\to T_{p}M,\mathrm{♭}:T_{p}M\to T_p^{\ast }M$で表します、すなわち$u\in T_p^{\ast }M,X,Y\in T_{p}M$に対して、
$$\begin{gathered} u(X)=g(({}^{\mathrm{♯}}u),X),u^i=g^{ij}{u}_j \\ ({}^{\mathrm{♭}}X)(Y)=g(X,Y),X_i=g_{ij}{X}^j \end{gathered}$$
です。

Affine多様体

情報幾何では平坦接続を備えた多様体（Affine多様体）が舞台になることが多いです。Affine多様体とは座標変換がAffine変換(一次変換)となるような多様体です。

定義だけ見ると単純そうですが、かなり難しいようです。こちらに簡単な文献紹介があります http://pantodon.shinshu-u.ac.jp/topology/literature/ja/affine_manifold.html

Affine多様体は平坦接続の存在で特徴づけることができます。

この命題より、Affine多様体を$(M,D)$と表すことにします。さらに上の証明のように$D$を定義したAffine座標系を接続$D$に関するAffine座標系と呼びます。また平坦接続$D$を$M$のAffine構造と呼びます。Affine構造は一意的とは限りません。

Hesse構造

Affine構造とリーマン構造が次の意味で仲良しなのがHesse構造です。

Hesse構造の条件は計量$g$がポテンシャル関数で書けているということですので、このようなことが成り立つためには$g$に関して何らかの可積分条件が成り立っていることが期待されます。

双対Hesse構造

次に与えられたHesse構造に対して、定義される双対Hesse構造を定義してその性質を調べます。

その前に双対Hesse構造の雰囲気を述べておきます。ユークリッド空間などリーマン多様体として平坦な多様体では、直交座標$\{x^i\}$に関する座標基底$\{{\partial }_{x^i}\}$とその双対基底$\{d{x}^i\}$は計量的に双対な関係（musical isomorphismで写りあう、metric dual、添え字上げ下げの関係）にあります、すなわち${}^{\mathrm{♯}}(d{x}^i)={\partial }_{x^i}$となっています。平坦でないリーマン多様体では任意の座標$\{x^i\}$に対して、${}^{\mathrm{♯}}(d{x}^i)={\partial }_{x^i}$は成り立ちませんが、ある２つの座標$\{x^i\},\{y^i\}$に対して、${}^{\mathrm{♯}}(d{x}^i)={\partial }_{y^i}$となる可能性はあります。もしこのようになっていたなら双対接空間がこの多様体上に"転写"され、それが座標$\{y^i\}$で眺める景色であると思えなくもない気がします(この辺は個人の感性かもしれない)。しかし一般にはこの条件の成立すらも全く期待できません。ではいつ起こるのかという問い対する一つの答えとしてHesse構造を挙げることができます。

これまで座標を表す記号は$x^i$を使っていましたが、情報幾何の文化に従ってAffine座標は${\theta }^i$や${\eta }_i$などを使うことにします。Affine座標近傍$(U,\{{\theta }^i\})$に対して変換
$${\eta }_i:=\frac{\partial \phi }{\partial {\theta }^i},$$
を考えてみましょう。Hesse構造のおかげで、この$\{{\eta }_i\}$たちは新しい座標を定めることが分かります。すなわち、
$$\frac{\partial {\eta }_i}{\partial {\theta }^j}=\frac{{\partial }^2\phi }{\partial {\theta }^j\partial {\theta }^i}=g_{ji},$$
となり、この変換の逆変換が$U$上で存在することが分かります。さらに、$\{{\theta }^i\}$のAffine座標変換${\theta }^i=a_j^i{\theta }^{\prime j}+b^i$に伴って、$\{{\eta }_i\}$は
$$\begin{gathered} {\eta }_i=(a^{-1}{)}_i^j{\eta }_j^{\prime }, \\ {\eta }^{\prime j}=\frac{\partial \phi }{\partial {\theta }^{\prime j}} \end{gathered}$$
となるので、$\{{\eta }_i\},\{{\eta }_i^{\prime }\}$はAffine変換で写りあうことが分かります。従って、座標近傍$(U,\{{\eta }_i=\partial \phi /\partial {\theta }^i\})$達は、$M$のAffine座標系を定義することが分かりました。しかしもちろんこの新しいAffine座標系が$D$に関するAffine座標系となっているとは限りません（ほとんどの場合違います）。命題の形にまとめておきます。

さて、双対Affine座標系$\{{\eta }_i\}$が定義されたので、当然この座標に関して平坦接続$D^{\ast }$が定義されます。この$D^{\ast }$については次の節で性質を論じます。ここでは定義だけして置いておいて、まずは２つの座標系$\{{\eta }_i\},\{{\theta }^i\}$の関係を論じておきましょう。

双対Affine座標$\{{\eta }_i\}$は$M$上に双対接空間の世界が座標となって現れた構造であると言えます。この言葉の意味をCotangent bundleの観点からもう少しはっきりさせれるのですが、やや寄り道になるので先に進みます。さらにもう一つ双対的な関係が成り立ちます。

この命題で示されたHesse構造$(D^{\ast },g)$を$(D,g)$の双対Hesse構造といいます。また情報幾何学では$(g,D,D^{\ast })$を双対平坦構造とよく呼びます。最後にこれまでに分かったことを使うと簡単に
$$d(\phi +{\phi }^{\prime }-{\eta }_i{\theta }^i)={\eta }_{i}d{\theta }^i+{\theta }^{i}d{\eta }_i-{\theta }^{i}d{\eta }_i-{\eta }_{i}d{\theta }^i=0$$
が分かります。よって$\phi +{\phi }^{\prime }-{\eta }_i{\theta }^i$は定数ですが、$\phi ,{\phi }^{\prime }$の選び方には定数シフトの任意性がありますので、
$$\phi +{\phi }^{\prime }-{\eta }_i{\theta }^i=0$$
となるように選ぶことができます。これ以降、双対Hesse構造について議論するときは、断りなく各Affine座標近傍上でポテンシャル関数$\phi ,{\phi }^{\prime }$をこのように取ることにします。またこのような$\phi ,{\phi }^{\prime }$の関係をLegendre変換の関係にあるといいます。

Hesse構造の双対接続

前節で、Hesse多様体$(M,D,g)$の$D$に関するAffine座標$\{{\theta }^i\}$の双対Affine座標$\{{\eta }_i\}$に関する平坦接続$D^{\ast }$を定義しました。ここでは$D,D^{\ast },\mathrm{\nabla }$の関係を調べます。初めに、リーマン接続$\mathrm{\nabla }$を見てみましょう。Codazzi方程式のおかげで、Christoffel記号は簡単になり、Affine座標$\{{\theta }^i\}$に関して、
$${}^{\mathrm{\nabla }}{\mathrm{\Gamma }}_{jk}^i=\frac{1}{2}{g}^{ia}(\frac{\partial g_{ak}}{\partial {\theta }^j}+\frac{\partial g_{aj}}{\partial {\theta }^k}-\frac{\partial g_{jk}}{\partial {\theta }^a})=\frac{1}{2}{g}^{ia}\frac{\partial g_{ak}}{\partial {\theta }^j}$$
となります。

次に、$D^{\ast }$の$\{{\theta }^i\}$に関する接続の係数は、座標変換に伴う接続の係数の変換則を考えれば、
$${}^{D^{\ast }}{\mathrm{\Gamma }}_{jk}^i=\frac{\partial {\theta }^i}{\partial {\eta }_a}\frac{{\partial }^2{\eta }_a}{\partial {\theta }^j\partial {\theta }^k}=g^{ia}\frac{\partial g_{ak}}{\partial {\theta }^j}$$
となります。この最後の式を$=2{}^{\mathrm{\nabla }}{\mathrm{\Gamma }}_{jk}^i$としたいところですが、接続の係数の２倍は接続の係数にはなりません。変換則を考えればわかりますが、接続の係数の全体は線形空間を成さず、Affine空間を成します。従って、２つの接続の係数${\mathrm{\Gamma }}_{jk}^{(1)i},{\mathrm{\Gamma }}_{jk}^{(2)i}$のAffine結合$t{\mathrm{\Gamma }}_{jk}^{(1)i}+(1-t){\mathrm{\Gamma }}_{jk}^{(2)i}$が接続の係数となります。今、我々は$\{{\theta }^i\}$に関する平坦接続$D$を材料として持ってますから、
$${}^{D^{\ast }}{\mathrm{\Gamma }}_{jk}^i=2{}^{\mathrm{\nabla }}{\mathrm{\Gamma }}_{jk}^i-{}^D{\mathrm{\Gamma }}_{jk}^i$$
とすればよいことが分かります（もちろんある接続を２つの接続のAffine結合として表示する仕方は一意的ではないです）。よって次の命題を得ました。

$D,D^{\ast }$はリーマン接続$\mathrm{\nabla }$を２つに分けた感じに思えます。このことは次の命題からもうかがえます。

※上の証明で最後に$g(D_{\frac{\partial }{\partial {\theta }^i}}\frac{\partial }{\partial {\theta }^j},\frac{\partial }{\partial {\theta }^k})$を付け加えなければ、テンソル場の等式として成立しないことに注意。

より一般的な状況として、捻じれの無い接続$D,D^{\ast }$とリーマン計量$g$を考えるとき、
$$Xg(Y,Z)=g(D_{X}Y,Z)+g(Y,D_X^{\ast }Z)$$
が成り立つならば$D,D^{\ast }$は互いに双対接続であるといいます。このとき$D,D^{\ast }$はどちらもCodazzi方程式を満たし、Hesse構造の平坦接続とは限らない一般化となっています。これはCodazzi構造と呼ばれ、Codazzi構造を持つ多様体をCodazzi多様体と呼びます。これは情報幾何学では統計多様体とも呼ばれ、後で出てくる確率分布族が定める多様体がその例になっています（名称の由来もおそらくここでしょう）。その構造についてここでは深入りして一般論はしませんが、定義だけ改めて述べておきます。(論理的にはこちらを先に定義してもよいのですが、Hesse構造のみを扱う場合はこちらの方がminimalかなと思ったのでこのような構成にしました。)

Hesse多様体のDivergence関数

統計学で1967年にL.M.Bregmanによって凸関数に対して定義されたDivergence関数というものがあるそうで、これはBergman divergenceと呼ばれます。これは感覚的には凸関数を近傍の点から線形に推定したものと実際の値との誤差と言った感じです。Hesseポテンシャルは凸関数なので、Hesseポテンシャルに対して、Bergman divergenceがHesse多様体（の一つの座標近傍に属する２点）に対して定義されます。

この定義がAffine座標$\{{\theta }^i\}$の取り方に寄らないことは明らかです。この式の意味を読み取るに、$\phi (p)$の値を近くの点$q$の近傍の$\phi$の情報から線形に推定したものと実際の$\phi (p)$との誤差といったところでしょうか（この時点ではどんな意味があるのかよく分からない）。

$D(p||x)$を$x=({\theta }^1,\cdots ,{\theta }^n)\in U$の関数だと見なすとき、
$$\begin{gathered} D(p||p)=0, \\ \frac{\partial }{\partial {\theta }^i}D(p||p)=0, \\ \frac{{\partial }^2}{{\partial }^j\partial {\theta }^i}D(p||p)=g_{ij}(p)\ge 0, \end{gathered}$$
なので、$D(p||x)$は$p$に十分近い近傍では、$x=p$において、極小値$0$を取ります。従って、$p$に十分近い近傍では、
$$\begin{gathered} D(p||q)\ge 0, \\ D(p||q)=0\iff p=q, \end{gathered}$$
が成り立ちます。

Divergenceには双対構造を用いた表示もあります。こちらの表示を定義とする文献もあります。

また双対Affine座標$\{{\eta }_i\}$に関してのDivergence関数を$D^{\ast }(p||q)$とすると、
$$\begin{gathered} D^{\ast }(p||q)=({\eta }_i(q)-{\eta }_i(p)){\theta }^i(q)-\psi (q)+\psi (p) \\ ={\eta }_i(q){\theta }^i(q)-{\eta }_i(p){\theta }^i(q)-{\theta }^i(q){\eta }_i(q)+\phi (q)+{\eta }_i(p){\theta }^i(p)-\phi (p) \\ =-{\eta }_i(p){\theta }^i(q)+\phi (q)+{\eta }_i(p){\theta }^i(p)-\phi (p) \\ =({\theta }^i(p)-{\theta }^i(q)){\eta }_i(p)-\phi (p)+\phi (q) \\ =D(q||p) \end{gathered}$$
という関係が成り立ちます。

Divergence関数は距離にはならないのですが、距離の2乗に類似の性質持ち、Pitagorusの定理的なものが成り立ちます。

ところでdivergence関数を一つの座標近傍上でしか定義していませんが、大域的に考えるようなものではないということなのでしょうか、良くわかりません。

ここまで結局divergenceが一体何なのかはよく分かりませんし、この後もよく分からないままです。少なくとも距離の２乗のようなもので何らかの離れ具合を測っているということです。divergenceを局所的にテイラー展開することでよりそれっぽく思うこともできます。
$$\begin{gathered} \frac{\partial {\phi }_p(x)}{\partial {\theta }^i}=g_{ij}({\theta }^j-{\theta }^j(p)), \\ \frac{{\partial }^2{\phi }_p(x)}{\partial {\theta }^j\partial {\theta }^i}=g_{ji}+({\theta }^k-{\theta }^k(p))\frac{\partial g_{ki}}{\partial {\theta }^j}, \\ \frac{{\partial }^3{\phi }_p(x)}{\partial {\theta }^i\partial {\theta }^j\partial {\theta }^k}=2\frac{\partial g_{ij}}{\partial {\theta }^k}+({\theta }^l-{\theta }^i(p))\frac{{\partial }^2{g}_{lj}}{\partial {\theta }^i\partial {\theta }^k} \end{gathered}$$
であるから、$x=p$の近傍で展開すると、
$$\begin{gathered} {\phi }_p(x)={\phi }_p(p)+\frac{\partial {\phi }_p(p)}{\partial {\theta }^i}({\theta }^i-{\theta }^i(p))+\frac{1}{2!}\frac{{\partial }^2{\phi }_p(p)}{\partial {\theta }^j\partial {\theta }^i}({\theta }^i-{\theta }^i(p))({\theta }^j-{\theta }^j(p)) \\ +\frac{1}{3!}\frac{{\partial }^3{\phi }_p(x)}{\partial {\theta }^i\partial {\theta }^j\partial {\theta }^k}({\theta }^i-{\theta }^i(p))({\theta }^j-{\theta }^j(p))({\theta }^k-{\theta }^k(p)) \\ =\frac{1}{2}{g}_{ij}(p)({\theta }^i-{\theta }^i(p))({\theta }^j-{\theta }^j(p))+\frac{2}{3!}\frac{g_{ij}}{\partial {\theta }^k}(p)({\theta }^i-{\theta }^i(p))({\theta }^j-{\theta }^j(p))({\theta }^k-{\theta }^k(p))+o(({\theta }^j-{\theta }^j(p){)}^3) \end{gathered}$$
となります。ということなので$p$にかなり近い点に関してはdivergenceは距離の２乗と思って良さそうです。

確率分布族が定めるHesse構造

ここでは確率分布の空間が定めるHesse構造を論じます。リーズナブルな仮定を満たす確率分布の族の空間を多様体と見なし、そのHesse構造の一般論を展開します。

まず、確率分布の族の空間とは何かを説明します。例えば、1次元正規分布は平均$\mu$と標準偏差$\sigma$で決定されるので、一次元正規分布の全体は集合$\{(\mu ,\sigma )\in {\mathbb{R}}^2;\sigma >0\}$と見なすことができます。このように確率分布のパラメータを多様体の座標と見なすことができるわけです。設定を正確にしましょう。

確率変数$x\in \mathcal{X}$は離散型、連続型のどちらかとします（離散型の場合は以下で出てくる積分は適宜$\sigma$に読み替えてください、あるいはDirac測度など適切な測度を適用してください）。$\mathrm{\Lambda }$を${\mathbb{R}}^n$の単連結な$n$次元開部分多様体とします（もしかしたら特殊な状況では境界を持ったり、滑らかでなかったりするかもしれません、分かりません）。$\lambda =({\lambda }^1,\cdots ,{\lambda }^n)\in \mathrm{\Lambda }$をパラメータとする$\mathcal{X}$上の確率分布の族
$$\mathcal{P}=\{p(x,\lambda );\lambda \in \mathrm{\Lambda }\}$$
は次の条件を満たすとします。
（１）$p(x,\lambda )$は$\lambda$に関して滑らか
（２）$x$に関する積分と$\lambda$に関する微分は交換可能
以降は特に断らずにこれらのことを仮定します。

任意の確率変数$\omega (x)$の確率$p(x,\lambda )$に関する期待値を取る操作を$E_{\lambda }[\omega ]$と表すことにします。

統計学ではFisher情報行列というものがあるそうで、情報幾何ではこれをリーマン計量と見なします。

Fisher情報行列は半正定値、すなわち$g_{ij}{a}^i{a}^j\ge 0,({}^{\mathrm{\forall }}{a}^i\in \mathbb{R})$であることが簡単な議論から示されますが、これを$\mathrm{\Lambda }$上のリーマン計量と見なしたいのでより強く正定値となっていると仮定します(この仮定は多くの確率分布で満たされています)。$\{{\lambda }^i\}$を$\mathrm{\Lambda }$上の座標と思うと、$x$に関する積分と${\lambda }^i$に関する微分が可換なので$g_{ij}$が2階対称共変テンソル場を定めまず。従ってFishier情報行列を$\mathrm{\Lambda }$上のリーマン計量と見なすことができます。これをFisher計量と呼びます。（半正定値であるような退化リーマン構造の幾何学が情報幾何の文脈で研究されているのか気になりますが、知りません）

これでパラメータの多様体$\mathrm{\Lambda }$にリーマン構造が入りました。さらにこれがHesse構造となるかどうかは確率分布$p(x,\lambda )$の性質によります。この後に紹介する指数型分布族であるときはHesse構造が入ります。しかしその前にFisher計量に関して互いに双対接続となる２つの接続を一般論として導入することができます。

まず、Fisher計量に対するリーマン接続を求めましょう。$\{{\lambda }^i\}$に関する接続の係数は
$${}^{\mathrm{\nabla }}{\mathrm{\Gamma }}_{ijk}=\frac{1}{2}(\frac{\partial g_{ik}}{\partial {\lambda }^j}+\frac{\partial g_{ij}}{\partial {\lambda }^k}-\frac{\partial g_{jk}}{\partial {\lambda }^i})$$
なので、まず$\partial g_{ik}/\partial {\lambda }^j$を計算します。
$$g_{ik}={\int }_{\mathcal{X}}\frac{\partial l_{\lambda }}{\partial {\lambda }^i}\frac{\partial l_{\lambda }}{\partial {\lambda }^k}p(x,\lambda )dx$$
より
$$\begin{gathered} \frac{\partial g_{ik}}{\partial {\lambda }^j}=E_{\lambda }\left[\frac{{\partial }^2{l}_{\lambda }}{\partial {\lambda }^j\partial {\lambda }^i}\frac{\partial l_{\lambda }}{\partial {\lambda }^k}\right]+E_{\lambda }\left[\frac{{\partial }^2{l}_{\lambda }}{\partial {\lambda }^j\partial {\lambda }^k}\frac{\partial l_{\lambda }}{\partial {\lambda }^i}\right]+E_{\lambda }\left[\frac{\partial l_{\lambda }}{\partial {\lambda }^i}\frac{\partial l_{\lambda }}{\partial {\lambda }^k}\frac{\partial l_{\lambda }}{\partial {\lambda }^j}\right] \\ \frac{\partial g_{ij}}{\partial {\lambda }^k}=E_{\lambda }\left[\frac{{\partial }^2{l}_{\lambda }}{\partial {\lambda }^k\partial {\lambda }^i}\frac{\partial l_{\lambda }}{\partial {\lambda }^j}\right]+E_{\lambda }\left[\frac{{\partial }^2{l}_{\lambda }}{\partial {\lambda }^j\partial {\lambda }^k}\frac{\partial l_{\lambda }}{\partial {\lambda }^i}\right]+E_{\lambda }\left[\frac{\partial l_{\lambda }}{\partial {\lambda }^i}\frac{\partial l_{\lambda }}{\partial {\lambda }^k}\frac{\partial l_{\lambda }}{\partial {\lambda }^j}\right] \\ \frac{\partial g_{jk}}{\partial {\lambda }^i}=E_{\lambda }\left[\frac{{\partial }^2{l}_{\lambda }}{\partial {\lambda }^j\partial {\lambda }^i}\frac{\partial l_{\lambda }}{\partial {\lambda }^k}\right]+E_{\lambda }\left[\frac{{\partial }^2{l}_{\lambda }}{\partial {\lambda }^i\partial {\lambda }^k}\frac{\partial l_{\lambda }}{\partial {\lambda }^j}\right]+E_{\lambda }\left[\frac{\partial l_{\lambda }}{\partial {\lambda }^i}\frac{\partial l_{\lambda }}{\partial {\lambda }^k}\frac{\partial l_{\lambda }}{\partial {\lambda }^j}\right] \end{gathered}$$
となるので、
$${}^{\mathrm{\nabla }}{\mathrm{\Gamma }}_{ijk}=\frac{1}{2}(\frac{\partial g_{ik}}{\partial {\lambda }^j}+\frac{\partial g_{ij}}{\partial {\lambda }^k}-\frac{\partial g_{jk}}{\partial {\lambda }^i})=E_{\lambda }\left[\frac{{\partial }^2{l}_{\lambda }}{\partial {\lambda }^j\partial {\lambda }^k}\frac{\partial l_{\lambda }}{\partial {\lambda }^i}\right]+\frac{1}{2}{E}_{\lambda }\left[\frac{\partial l_{\lambda }}{\partial {\lambda }^i}\frac{\partial l_{\lambda }}{\partial {\lambda }^k}\frac{\partial l_{\lambda }}{\partial {\lambda }^j}\right]$$
となります。ここで第二項目は3階共変テンソル場であり、接続の係数に3階テンソル場を加えても接続の係数なので、
$$T_{ijk}=\frac{1}{2}{E}_{\lambda }\left[\frac{\partial l_{\lambda }}{\partial {\lambda }^i}\frac{\partial l_{\lambda }}{\partial {\lambda }^j}\frac{\partial l_{\lambda }}{\partial {\lambda }^k}\right],$$
と置くとき
$$\mathrm{\Gamma }(\alpha {)}_{ijk}={}^{\mathrm{\nabla }}{\mathrm{\Gamma }}_{ijk}-\alpha T_{ijk},$$
は新しい接続を定義する。これは明らかに捻じれの無い接続です。さらに
$$\mathrm{\Gamma }(\alpha {)}_{jki}+\mathrm{\Gamma }(-\alpha {)}_{ikj}={}^{\mathrm{\nabla }}{\mathrm{\Gamma }}_{jki}+{}^{\mathrm{\nabla }}{\mathrm{\Gamma }}_{ikj}=\frac{\partial g_{ij}}{\partial {\lambda }^k}$$
が成り立つため、
$$Xg(Y,Z)=g(D_X^{(\alpha )}Y,Z)+g(Y,D_X^{(-\alpha )}Z)$$
となります。従って、$D^{(\alpha )},D^{(-\alpha )}$はFisher計量に関して互いに双対接続となります。

指数型分布族

正規分布は$\exp$の形で書かれています。どんなものでも無理やり$\exp$の"肩"に乗せることはできます。このとき、"肩"の中身がパラメータに関して一次式とスカラー関数の和とできる場合が、指数型分布族です。有名な多くの確率分布族が指数型分布族になります。正確に定義します。

例えば、1次元正規分布族は
$$\begin{gathered} p(x,\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2}) \\ =\exp (-x^2\frac{1}{2{\sigma }^2}+x\frac{\mu }{{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}-\log \sqrt{2\pi }\sigma ) \end{gathered}$$
となるから、
$$\begin{gathered} F_1(x)=-x^2,F_2(x)=x,{\theta }^1=\frac{1}{2{\sigma }^2},{\theta }^2=\frac{\mu }{{\sigma }^2}, \\ \phi ({\theta }^1,{\theta }^2)=\frac{{\mu }^2}{2{\sigma }^2}+\log \sqrt{2\pi }\sigma =\frac{({\theta }^2{)}^2}{4{\theta }^1}+\frac{1}{2}\log \left(\pi /{\theta }^1\right) \end{gathered}$$
と置けば指数型分布族となることが分かります。この具体例は後でもう少し分析しますが、まず一般に指数型分布族がHesse構造を定めることを見ましょう。指数型分布族$p(x,\theta )$に対して、座標$\{{\theta }^i\}$に関する接続$D^{(1)}$の係数は、
$$\mathrm{\Gamma }(1{)}_{kij}=E_{\theta }\left[\frac{{\partial }^2{l}_{\theta }}{\partial {\theta }^j\partial {\theta }^i}\frac{\partial l_{\theta }}{\partial {\theta }^k}\right]$$
です。ここで
$$\begin{gathered} \frac{\partial l_{\theta }}{\partial {\theta }^k}=F_k(x)-\frac{\partial \phi }{\partial {\theta }^k}, \\ \frac{{\partial }^2{l}_{\theta }}{\partial {\theta }^j\partial {\theta }^i}=-\frac{{\partial }^2\phi }{\partial {\theta }^i\partial {\theta }^j} \end{gathered}$$
なので、$\frac{{\partial }^2{l}_{\theta }}{\partial {\theta }^j\partial {\theta }^i}$は$x$に依存しておらず、積分の外に出せるので、
$$\mathrm{\Gamma }(1{)}_{kij}=-\frac{{\partial }^2\phi }{\partial {\theta }^i\partial {\theta }^j}{E}_{\theta }\left[\frac{\partial l_{\theta }}{\partial {\theta }^k}\right]$$
となります。一方
$${\int }_{\mathcal{X}}p(x,\theta )dx=1,$$
を${\theta }^k$で微分して
$$\begin{gathered} {\int }_{\mathcal{X}}\frac{\partial l_{\theta }}{\partial {\theta }^k}p(x,\theta )dx=0, \\ \therefore E_{\theta }\left[\frac{\partial l_{\theta }}{\partial {\theta }^k}\right]=0 \end{gathered}$$
であることが分かります。よって
$$\mathrm{\Gamma }(1{)}_{kij}=0$$
を得ます。従って、接続$D^{(1)}$は平坦接続であり、$\{{\theta }^i\}$は$D^{(1)}$に関するAffine座標であることが分かりました。次にFisher計量を計算します。上で出た
$${\int }_{\mathcal{X}}\frac{\partial l_{\theta }}{\partial {\theta }^i}p(x,\theta )dx=0$$
をもう一度${\theta }^j$で微分すると
$${\int }_{\mathcal{X}}\frac{{\partial }^2{l}_{\theta }}{\partial {\theta }^i\partial {\theta }^j}p(x,\theta )dx+{\int }_{\mathcal{X}}\frac{\partial l_{\theta }}{\partial {\theta }^i}\frac{\partial l_{\theta }}{\partial {\theta }^j}p(x,\theta )dx=0$$
となります。よって
$$g_{ij}=E_{\theta }\left[\frac{\partial l_{\theta }}{\partial {\theta }^i}\frac{\partial l_{\theta }}{\partial {\theta }^j}\right]=-{\int }_{\mathcal{X}}\frac{{\partial }^2{l}_{\theta }}{\partial {\theta }^i\partial {\theta }^j}p(x,\theta )dx=\frac{{\partial }^2\phi }{\partial {\theta }^i\partial {\theta }^j}$$
となって、スカラー関数の微分で書けていることが分かりました。よく使われる言葉として、$D^{(1)}$を$e$-接続、$D^{(-1)}$を$m$-接続と呼び、$D^e,D^m$と書きます。それぞれexponential,mixtureの頭文字です(私はこれが覚えにくかったので、$\alpha =-1$に対応する方はminusのmと覚えました)。この言葉の由来を理解するには他にもいくらか紹介しなければなりませんので、このノートでは割愛します。これまでの議論と合わせると、次の命題を得ました。

1次元正規分布族の定める統計多様体

最後に、1次元正規分布族の定める統計多様体を見てみましょう。1次元正規分布族は
$$\begin{gathered} p(x,\mu ,\sigma )=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2}) \\ =\exp (-x^2\frac{1}{2{\sigma }^2}+x\frac{\mu }{{\sigma }^2}-\frac{{\mu }^2}{2{\sigma }^2}-\log \sqrt{2\pi }\sigma ) \end{gathered}$$
となるから、
$$\begin{gathered} F_1(x)=-x^2,F_2(x)=x,{\theta }^1=\frac{1}{2{\sigma }^2},{\theta }^2=\frac{\mu }{{\sigma }^2}, \\ \phi ({\theta }^1,{\theta }^2)=\frac{{\mu }^2}{2{\sigma }^2}+\log \sqrt{2\pi }\sigma =\frac{({\theta }^2{)}^2}{4{\theta }^1}+\frac{1}{2}\log \left(\pi /{\theta }^1\right) \end{gathered}$$
と置けば指数型分布族となるのでした。$\phi$を微分してFisher計量を求めると、
$$d{s}^2=\frac{1}{2{\theta }^1}((({\theta }^2/{\theta }^1{)}^2+1/{\theta }^1)(d{\theta }^1{)}^2-2({\theta }^2/{\theta }^1)d{\theta }^{1}d{\theta }^2+(d{\theta }^2{)}^2)$$
となります。この2次元リーマン多様体はあまり見慣れないですね（少なくとも私は）。そこでもともとの$\{\mu ,\sigma \}$の座標に戻してみましょう。すると
$$d{s}^2=\frac{d{\mu }^2+2d{\sigma }^2}{{\sigma }^2}$$
となります。$\sigma \mapsto \sigma /\sqrt{2}$と置きなおすと、
$$d{s}^2=2\frac{d{\mu }^2+d{\sigma }^2}{{\sigma }^2}$$
となって、双曲平面ということが分かりました。正規分布達の作る空間が負の定曲率空間と見なせるという事実をどう理解すればよいのかまだ私には分かりません。Affine座標$\{{\theta }^1,{\theta }^2\}$の座標曲線を横軸が$\mu$軸で縦軸が$\sigma$軸の上半平面に描いたのが下図です。
双曲平面上のAffine座標$\{{\theta }^1,{\theta }^2\}$
ピンクの線達が${\theta }^2$-曲線達で、グレーの線達が${\theta }^1$-曲線です（見やすいようにすこしデフォルメしてます）。正直、$\{{\theta }^1,{\theta }^2\}$というあまりきれいに見えない座標が統計多様体としての、またはより詳細にHesse多様体としての構造はにとって重要であるということはなかなか腑に落ちない部分もあります。

ついでに双対Affien座標も描いてみましょう。双対Affine座標$\{{\eta }_1,{\eta }_2\}$は
$$\begin{gathered} {\eta }_1=\frac{\partial \phi }{\partial {\theta }^1}=-\frac{1}{2{\theta }^1}-\frac{({\theta }^2{)}^2}{4({\theta }^1{)}^2}=-{\mu }^2-{\sigma }^2, \\ {\eta }_2=\frac{\partial \phi }{\partial {\theta }^2}=\frac{{\theta }^2}{2{\theta }^1}=\mu \end{gathered}$$
となります。よって座標曲線達は下図のようになります。
双曲平面上のAffine座標$\{{\eta }_1,{\eta }_2\}$
グレーの曲線達が${\eta }_1$-曲線、ピンクの曲線達が${\eta }_2$-曲線です。こういう座標曲線を見て何かすぐ分かるわけではないのですが、こうして遊ぶことで理解を深めることはできるでしょう。

他にもDivergence関数を考察したり、測地線を描いたりして遊べます。また、指数型確率分布族は他にも有名な例として、多項族分布、Poisson分布、指数族分布があります。これらはまた別のノートにまとめることにします。