コーシーの関数方程式から自己情報量を導出して凸性を確認する

Def.

Prop&Proof

関数 $f:\mathbb Q\to\mathbb R$ が、任意の $x,y\in\mathbb Q$ に対して
$$ f(x+y)=f(x)+f(y) $$
を満たすとする。
まず、$0\in\mathbb Q$ に対しては
$$ f(0)=f(0+0)=f(0)+f(0) $$
であるから、両辺から $f(0)$ を引いて
$$ f(0)=0 $$
である。
また、任意の $x\in\mathbb Q$ に対して、
$$ 0=f(0)=f(x+(-x))=f(x)+f(-x) $$
であるから、
$$ f(-x)=-f(x)\cdots① $$
が成り立つ。

1. 整数倍について示す。
   任意の $n\in\mathbb Z_{\ge 0}$ に対して、
   $$ f(n)=nf(1) $$
   が成り立つことを数学的帰納法で示す。
   i) $n=0$ のとき、
   $$ f(0)=0=0f(1) $$
   　 であるから成り立つ。
   $ $
   ii) ある $n\in\mathbb Z_{\ge 0}$ に対して、
   $$ f(n)=nf(1) $$
   　 が成り立つと仮定する。
   $ $
   iii) このとき、
   $$ \begin{align} f(n+1)&=f(n)+f(1)\\ &=nf(1)+f(1)\quad \because f(n)=nf(1)\\ &=(n+1)f(1) \end{align} $$
   　 である。
   $ $
   iv) したがって、数学的帰納法により、任意の $n\in\mathbb Z_{\ge 0}$ に対して、
   $$ f(n)=nf(1)\cdots② $$
   　 が成り立つ。
   $ $
   v) また、任意の $n\in\mathbb N$ に対して、①,②より
   $$ \begin{align} f(-n)&=-f(n)&\because ① \\ &=-nf(1)&\because ② \\ \end{align} $$
   　 である。よって、任意の $m\in\mathbb Z$ に対して、
   $$ f(m)=mf(1) $$
   　 が成り立つ。
   $ $
2. 有理数について示す。
   任意の $x\in\mathbb Q$ をとる。
   有理数の定義より、ある $p\in\mathbb Z$ と $q\in\mathbb Z_{>0}$ が存在して、
   $$ x=\frac{p}{q} $$
   と表せる。ここで、$q\in\mathbb Z_{>0}$ であるから、
   $$ q\cdot\frac{p}{q} = \underbrace{\frac{p}{q}+\frac{p}{q}+\cdots+\frac{p}{q}}_{q\text{個}} $$
   であり
   $$ q\cdot\frac{p}{q}=p $$
   であるから、
   $$ p = \underbrace{\frac{p}{q}+\frac{p}{q}+\cdots+\frac{p}{q}}_{q\text{個}} $$
   である。したがって、仮定より加法性を繰り返し用いると、
   $$ \begin{aligned} f(p) &= f\left( \underbrace{\frac{p}{q}+\frac{p}{q}+\cdots+\frac{p}{q}}_{q\text{個}} \right)\\ &= \underbrace{ f\left(\frac{p}{q}\right) + f\left(\frac{p}{q}\right) + \cdots + f\left(\frac{p}{q}\right) }_{q\text{個}}\\ &= qf\left(\frac{p}{q}\right) \end{aligned} $$
   である。一方で、整数の場合の結果より、
   $$ f(p)=pf(1) $$
   である。したがって、
   $$ qf\left(\frac{p}{q}\right)=pf(1) $$
   である。$q>0$ であるから、両辺を $q$ で割ると、
   $$ f\left(\frac{p}{q}\right)=\frac{p}{q}f(1) $$
   を得る。よって、
   $$ f(x)=xf(1) $$
   である。ここで、
   $$ a:=f(1) $$
   とおけば、$a\in\mathbb R$ であり、任意の $x\in\mathbb Q$ に対して、
   $$ f(x)=ax $$
   が成り立つ。
   $$ \Box$$

関数 $f:\mathbb R\to\mathbb R$ が、任意の $x,y\in\mathbb R$ に対して
$$ f(x+y)=f(x)+f(y) $$
を満たすとする。さらに $f$ は連続である。

1. まず、$f$ の $\mathbb Q$ への制限
   $$ g:=f|_{\mathbb Q}:\mathbb Q\to\mathbb R $$
   を考える。
   任意の $r,s\in\mathbb Q$ に対して、$r,s\in\mathbb R$ でもあるから、仮定より
   $$ g(r+s) = f(r+s) = f(r)+f(s) = g(r)+g(s) $$
   である。
   したがって、直前の命題より、任意の $r\in\mathbb Q$ に対して、
   $$ g(r)=rg(1) $$
   が成り立つ。ここで、制限写像の定義より、任意の $r\in\mathbb Q$ に対して
   $$ g(r)=f(r) $$
   であり、特に $1\in\mathbb Q$ であるから、
   $$ g(1)=f(1) $$
   である。
   したがって、任意の $r\in\mathbb Q$ に対して、
   $$ f(r)=rf(1)\cdots① $$
   が成り立つ。
   $ $
2. 任意の $x\in\mathbb R$ をとる。
   i) $\mathbb Q$ は $\mathbb R$ の稠密部分集合であるから、任意の $n\in\mathbb Z_{>0}$ に対して、ある $r_n\in\mathbb Q$ が存在して、
   $$ x-\frac{1}{n}< r_n< x+\frac{1}{n} $$
   　 を満たす。したがって、
   $$ -\frac{1}{n}< x-r_n<\frac{1}{n} $$
   　 すなわち、
   $$ |x-r_n|<\frac{1}{n} $$
   　 を満たす。
   　 そこで、任意の $\varepsilon>0$ に対して、アルキメデス性より、ある $N\in\mathbb Z_{>0}$ が存在して、
   $$ \frac{1}{N}<\varepsilon $$
   　 を満たす。このとき、$n\ge N$ ならば、
   $$ \frac{1}{n}\le \frac{1}{N}<\varepsilon $$
   　 である。したがって、$n\ge N$ ならば、
   $$ |x-r_n|<\frac{1}{n}<\varepsilon $$
   　 である。よって、
   $$ r_n\to x $$
   　 である。
   $ $
   ii) 仮定より $f$ は$\mathbb{R}$上で連続であるから、特に点 $x\in \mathbb{R}$ において連続である。
   　 すなわち、任意の $\varepsilon>0$ に対して、ある $\delta>0$ が存在して、$|t-x|<\delta$ を満たす任意の $t\in\mathbb R$ に対して、
   $$ |f(t)-f(x)|<\varepsilon $$
   　 が成り立つ。
   　 そこで、$r_n\to x$ であるから、この $\delta>0$ に対して、ある $N\in\mathbb Z_{>0}$ が存在して、
   　 $n\ge N$ を満たす任意の $n\in\mathbb Z_{>0}$ について、
   $$ |r_n-x|<\delta $$
   　 が成り立つ。
   　 したがって、任意の $n\in\mathbb Z_{>0}$ について、$n\ge N$ ならば、
   $$ |f(r_n)-f(x)|<\varepsilon $$
   　 である。
   　 ゆえに、数列 $\{f(r_n)\}_{n\in\mathbb Z_{>0}}$ は $f(x)$ に収束する。すなわち、
   $$ f(r_n)\to f(x) $$
   　 である。
   $ $
   iii) 一方で、各 $n\in\mathbb Z_{>0}$ に対して $r_n\in\mathbb Q$ であるから、①より
   $$ f(r_n)=r_nf(1)\cdots② $$
   　 である。
   　 また、$r_n\to x$ であり、$f(1)\in\mathbb R$ は定数であるから、
   $$ r_nf(1)\to xf(1) $$
   　 である。したがって、式②は
   $$ f(r_n)\to xf(1) $$
   　 である。一方で、ii) より、
   $$ f(r_n)\to f(x) $$
   　 である。よって、極限の一意性(補足を参照)より、
   $$ f(x)=xf(1) $$
   　 である。ここで、
   $$ a:=f(1) $$
   　 とおけば、$a\in\mathbb R$ であり、任意の $x\in\mathbb R$ に対して、
   $$ f(x)=ax $$
   　 が成り立つ。
   $$ \Box$$

連続な関数 $H:(0,\infty)\to\mathbb R$ が、任意の $n,m\in(0,\infty)$ に対して
$$ H(nm)=H(n)+H(m) $$
を満たすとする。

1. 【乗法型の関数方程式を加法型の関数方程式に変換する】
   ここで、$x\in\mathbb R$ に対して、
   $$ f(x):=H(e^x) $$
   と定める。
   任意の $x\in\mathbb R$ に対して、
   $$ e^x\in(0,\infty) $$
   であり、仮定より $H:(0,\infty)\to\mathbb R$ であるから、
   $$ H(e^x)\in\mathbb R $$
   である。したがって、$f:\mathbb R\to\mathbb R$ は確かに定義される。
   また、指数関数 $x\mapsto e^x$ は $\mathbb R$ 上で連続であり、仮定より $H$ もまた $(0,\infty)$ 上で連続であるから、合成関数
   $$ f=H\circ \exp $$
   は $\mathbb R$ 上で連続である。そこで、任意の $a,b\in\mathbb R$ をとる。
   このとき、
   $$ e^a\in(0,\infty),\qquad e^b\in(0,\infty) $$
   であるから、$H$ の仮定より、
   $$ H(e^ae^b)=H(e^a)+H(e^b) $$
   が成り立つ。また、指数法則より、
   $$ e^{a+b}=e^ae^b $$
   である。したがって、
   $$ \begin{aligned} f(a+b) &= H(e^{a+b})\\ &= H(e^ae^b)\\ &= H(e^a)+H(e^b)\\ &= f(a)+f(b) \end{aligned} $$
   である。よって、任意の $a,b\in\mathbb R$ に対して、
   $$ f(a+b)=f(a)+f(b)\cdots① $$
   が成り立つ。
   $ $
2. 【連続な加法的関数の線形性を適用する】
   $1.$ より、$f:\mathbb R\to\mathbb R$ は連続であり、任意の $a,b\in\mathbb R$ に対して
   $$ f(a+b)=f(a)+f(b) $$
   を満たす。ここで、連続な加法的関数の線形性の命題(直前に示した命題)より、
   ある $k\in\mathbb R$ が存在して、任意の $x\in\mathbb R$ に対して
   $$ f(x)=kx $$
   が成り立つ。
   $ $
3. 【$H$ の形に戻す】
   そこで、任意の $n\in(0,\infty)$ をとる。このとき、対数関数の定義より、
   $$ \log n\in\mathbb R $$
   であり、
   $$ e^{\log n}=n $$
   である。そこで、
   $$ x:=\log n $$
   とおくと、
   $$ n=e^x $$
   である。したがって、$f$ の定義と $f(x)=kx$ より、
   $$ \begin{aligned} H(n) &= H(e^x)\\ &= f(x)\\ &= kx\\ &= k\log n \end{aligned} $$
   である。

-よって、任意の $n\in(0,\infty)$ に対して、
$$ H(n)=k\log n $$
が成り立つ。
$$ \Box$$

連続な関数 $I:(0,1]\to\mathbb R$ が、任意の $p,q\in(0,1]$ に対して
$$ I(pq)=I(p)+I(q) $$
を満たすとする。

1. まず、$I(1)=0$ を示す。
   仮定より、
   $$ I(1)=I(1\cdot1)=I(1)+I(1) $$
   である。
   両辺から $I(1)$ を引くと、
   $$ I(1)=0 $$
   である。
   $ $
2. 次に、乗法型の関数方程式を加法型の関数方程式に変換する。
   $t\in[0,\infty)$ に対して、
   $$ f(t):=I(e^{-t}) $$
   と定める。任意の $t\in[0,\infty)$ に対して、
   $$ 0< e^{-t}\le1 $$
   であるから、$e^{-t}\in(0,1]$ である。
   したがって、$I(e^{-t})$ は定義され、$f:[0,\infty)\to\mathbb R$ は確かに定義される。
   $ $
   また、写像 $t\mapsto e^{-t}$ は $[0,\infty)$ 上で連続であり、$I$ は仮定より $(0,1]$ 上で連続であるから、
   合成関数 $f$ は $[0,\infty)$ 上で連続である(補足を参照)。
   $ $
   さらに、任意の $s,t\in[0,\infty)$ に対して、
   $$ e^{-s},e^{-t}\in(0,1] $$
   であり、指数法則より
   $$ e^{-(s+t)}=e^{-s}e^{-t} $$
   である。よって、$I$ の加法性(仮定)より、
   $$ \begin{aligned} f(s+t) &=I(e^{-(s+t)})\\ &=I(e^{-s}e^{-t})\\ &=I(e^{-s})+I(e^{-t})\\ &=f(s)+f(t) \end{aligned} $$
   である。
   したがって、任意の $s,t\in[0,\infty)$ に対して、
   $$ f(s+t)=f(s)+f(t) $$
   が成り立つ。
   $ $
3. $f$ が $[0,\infty)$ 上で線形であることを示す。
   まず、$f(0)=0$ を示す。$2.$ で示した $f$ の加法性より、
   $$ f(0)=f(0+0)=f(0)+f(0) $$
   であるから、
   $$ f(0)=0 $$
   である。
   次に、任意の $n\in\mathbb Z_{\ge 0}$ に対して、
   $$ f(n)=nf(1) $$
   が成り立つことを数学的帰納法で示す。
   i) $n=0$ のとき、
   $$ f(0)=0=0f(1) $$
   　 であるから成り立つ。
   $ $
   ii) ある $n\in\mathbb Z_{\ge 0}$ に対して、
   $$ f(n)=nf(1) $$
   　 が成り立つと仮定する。
   $ $
   iii) このとき、
   $$ \begin{align} f(n+1)&=f(n)+f(1)\\ &=nf(1)+f(1)\quad \because f(n)=nf(1)\\ &=(n+1)f(1) \end{align} $$
   　 である。
   $ $
   iv) したがって、数学的帰納法により、任意の $n\in\mathbb Z_{\ge 0}$ に対して、
   $$ f(n)=nf(1) $$
   　 が成り立つ。
   次に、任意の $n\in\mathbb Z_{>0}$ に対して、
   $$ 1=\underbrace{\frac{1}{n}+\frac{1}{n}+\cdots+\frac{1}{n}}_{n\text{個}} $$
   であるから、加法性を繰り返し用いると、
   $$ f(1)=nf\left(\frac{1}{n}\right) $$
   である。よって、
   $$ f\left(\frac{1}{n}\right)=\frac{1}{n}f(1) $$
   である。
   したがって、任意の $m\in\mathbb Z_{\ge0}$ と任意の $n\in\mathbb Z_{>0}$ に対して、
   $$ \frac{m}{n} = \underbrace{\frac{1}{n}+\frac{1}{n}+\cdots+\frac{1}{n}}_{m\text{個}} $$
   であるから、
   $$ \begin{aligned} f\left(\frac{m}{n}\right) &= mf\left(\frac{1}{n}\right)\\ &= m\frac{1}{n}f(1)\\ &= \frac{m}{n}f(1) \end{aligned} $$
   である(補足を参照)。よって、任意の $r\in\mathbb Q\cap[0,\infty)$ に対して、
   $$ f(r)=rf(1) $$
   が成り立つ。
   $ $
4. 次に、任意の $t\in[0,\infty)$ をとる。
   まず、$\mathbb Q\cap[0,\infty)$ 上の点列で $t$ に収束するものを構成する。
   任意の $j\in\mathbb Z_{>0}$ に対して、
   $$ \alpha_j:=\max\left\{0,t-\frac{1}{j}\right\} $$
   とおく。このとき、
   $$ \alpha_j< t+\frac{1}{j} $$
   である。有理数の稠密性より、ある $r_j\in\mathbb Q$ が存在して、
   $$ \alpha_j< r_j< t+\frac{1}{j} $$
   を満たす。特に、$\alpha_j\ge0$ であるから、
   $$ r_j\in\mathbb Q\cap[0,\infty) $$
   である。また、$\alpha_j\ge t-\frac{1}{j}$ であるから、
   $$ t-\frac{1}{j}< r_j< t+\frac{1}{j} $$
   である。したがって、
   $$ |r_j-t|<\frac{1}{j} $$
   が成り立つ。よって、
   $$ r_j\to t $$
   である。
   $ $
5. 次に、$f$ は $[0,\infty)$ 上で連続であるから、点 $t$ において連続である。
   したがって、$r_j\to t$ かつ各 $j\in\mathbb Z_{>0}$ について $r_j\in[0,\infty)$ であることより、
   $$ f(r_j)\to f(t) $$
   である(補足を参照)。
   一方、各 $j\in\mathbb Z_{>0}$ に対して、
   $$ r_j\in\mathbb Q\cap[0,\infty) $$
   であるから、非負有理数上で既に示した結果より、
   $$ f(r_j)=r_jf(1) $$
   である。また、
   $$ r_j\to t $$
   であり、$f(1)\in\mathbb R$ は定数であるから、数列の極限の定数倍の性質より、
   $$ r_jf(1)\to tf(1) $$
   である。したがって、
   $$ f(r_j)\to tf(1) $$
   である。以上より、同じ数列 $(f(r_j))_{j\in\mathbb Z_{>0}}$ が $f(t)$ にも $tf(1)$ にも収束する。
   実数列の極限の一意性(補足を参照)より、
   $$ f(t)=tf(1) $$
   である。$t\in[0,\infty)$ は任意であったから、任意の $t\in[0,\infty)$ に対して、
   $$ f(t)=tf(1) $$
   が成り立つ。
   $ $
6. 最後に、$I$ の形へ戻す。
   任意の $p\in(0,1]$ をとる。このとき、
   $$ \log p\le0 $$
   であるから、
   $$ -\log p\in[0,\infty) $$
   である。また、
   $$ p=e^{-(-\log p)} $$
   である。よって、$f$ の定義より、
   $$ I(p)=I(e^{-(-\log p)})=f(-\log p) $$
   である。
   $5.$ より、任意の $t\in[0,\infty)$ に対して $f(t)=tf(1)$ であるから、
   $$ \begin{aligned} I(p) &=f(-\log p)\\ &=(-\log p)f(1)\\ &=-f(1)\log p \end{aligned} $$
   である。ここで、
   $$ c:=-f(1) $$
   とおくと、$c\in\mathbb R$ であり、任意の $p\in(0,1]$ に対して、
   $$ I(p)=c\log p $$
   が成り立つ。
   $$ \Box$$

関数 $I:(0,1]\to\mathbb R$ が、命題の $1.\,\ 2.\,\ 3.$ を満たすとする。

1. まず、連続性と加法性から対数型であることを導く。
   $I$ は $(0,1]$ 上で連続であり、任意の $p,q\in(0,1]$ に対して
   $$ I(pq)=I(p)+I(q) $$
   を満たす。
   したがって、既に示した $(0,1]$ 上で乗法を加法に写す連続関数の形より、ある $c\in\mathbb R$ が存在して、任意の $p\in(0,1]$ に対して
   $$ I(p)=c\log p $$
   が成り立つ。
   $ $
2. 次に、単調減少性から $c<0$ を示す。
   $$ 0< e^{-1}<1 $$
   であり、$e^{-1},1\in(0,1]$ である。
   単調減少性の仮定より、
   $$ I(e^{-1})>I(1)\cdots① $$
   が成り立つ。
   一方、$1.$ で示した表示より、
   $$ \begin{align} I(e^{-1}) &=c\log(e^{-1})\\ &=c\cdot(-1) \quad \because \log(e^x)=x \\ &=-c \end{align} $$
   であり、
   $$ I(1)=c\log1=0 $$
   である。したがって、式①より
   $$ -c>0 $$
   である。よって、
   $$ c<0 $$
   である。ここで、
   $$ K:=-c $$
   とおく。また $c<0$ であるから、
   $$ K>0 $$
   である。故に、任意の $p\in(0,1]$ に対して、
   $$ I(p)=c\log p=-K\log p $$
   が成り立つ。

-したがって、ある定数 $K>0$ が存在して、任意の $p\in(0,1]$ に対して
$$ I(p)=-K\log p $$
が成り立つ。
$$ \Box$$

$(\Omega,\mathcal F,\mathbb P)$ を確率空間とし、$A\in\mathcal F$ かつ $\mathbb P(A)>0$ とする。
確率測度の性質より、
$$ 0\le\mathbb P(A)\le1 $$
である。さらに、仮定より
$$ \mathbb P(A)>0 $$
であるから、
$$ 0<\mathbb P(A)\le1 $$
である。ここで、底 $b>1$ の対数関数 $\log_b x$ は $(0,\infty)$ 上で狭義単調増加である。
したがって、
$$ 0<\mathbb P(A)\le1\ \Longrightarrow \ \log_b\mathbb P(A)\le\log_b1 $$
である。また、
$$ \log_b1=0 $$
であるから、
$$ \log_b\mathbb P(A)\le0 $$
である。両辺に $-1$ を掛けると、不等号の向きが反転して、
$$ -\log_b\mathbb P(A)\ge0 $$
である。自己情報量の定義より、
$$ I_b(A):=-\log_b\mathbb P(A) $$
であるから、
$$ I_b(A)\ge0 $$
が成り立つ。
$$ \Box$$

$K>0$ とし、
$$ I(p):=-K\log p $$
と定める。

1. まず、$(0,1)$ 上で $I$ の $2$ 階微分を計算する。
   任意の $p\in(0,1)$ に対して、
   $$ I'(p) = -\frac{K}{p} $$
   である。さらに微分すれば
   $$ I''(p) = \frac{K}{p^2} $$
   である。ここで、$p\in(0,1)$ であるから、
   $$ p^2>0 $$
   である。また、$K>0$ であるから、
   $$ I''(p)=\frac{K}{p^2}>0 $$
   である。したがって、任意の $p\in(0,1)$ に対して、
   $$ I''(p)\ge0 $$
   が成り立つ。
   $ $
2. 次に、$(0,1)$ 上での凸性を示す。
   一般に、区間の内部で $2$ 回微分可能な関数 $f$ が
   $$ f''(x)\ge0 $$
   を満たすならば、$f$ はその区間上で凸関数である( 証明はこちら )。
   したがって、$1.$ より、$I$ は $(0,1)$ 上で凸関数である。
   すなわち、任意の $p,q\in(0,1)$ と任意の $t\in[0,1]$ に対して、
   $$ I(tp+(1-t)q) \le tI(p)+(1-t)I(q) $$
   が成り立つ。
   $ $
3. 最後に、端点 $1$ を含む場合を示す。
   任意の $p,q\in(0,1]$ と任意の $t\in[0,1]$ をとる。
   $p,q\in(0,1)$ の場合は、$2.$ よりすでに成り立つ。そこで、少なくとも一方が $1$ である場合を考える。
   i) まず、$p=1$ の場合を考える。
   　$q\in(0,1]$ とする。
   　$q=1$ の場合は、
   $$ I(t\cdot1+(1-t)\cdot1) = I(1) = tI(1)+(1-t)I(1) $$
   　であるから成り立つ。
   $ $
   ii) 次に、$q\in(0,1)$ とする。
   　数列 $(p_n)_{n\in\mathbb Z_{>0}}$ を
   $$ p_n:=1-\frac{1}{n+1} $$
   　で定める。
   $ $
   iii) このとき、任意の $n\in\mathbb Z_{>0}$ に対して、
   $$ p_n\in(0,1) $$
   　であり、
   $$ p_n\to1 $$
   　である。$2.$ より、任意の $n\in\mathbb Z_{>0}$ に対して、
   $$ I(tp_n+(1-t)q) \le tI(p_n)+(1-t)I(q) $$
   　が成り立つ。
   　ここで、$I$ は $(0,1]$ 上で連続である。また、
   $$ tp_n+(1-t)q\to t\cdot1+(1-t)q $$
   　である。したがって、$n\to\infty$ とすると、
   $$ I(t\cdot1+(1-t)q) \le tI(1)+(1-t)I(q) $$
   　が得られる。よって、$p=1$ の場合にも凸不等式が成り立つ。
   　$q=1$ の場合も同様に、$q_n:=1-\frac{1}{n+1}$ として $q_n\to1$ とすれば、同じ議論により凸不等式が成り立つ。

-したがって、任意の $p,q\in(0,1]$ と任意の $t\in[0,1]$ に対して、
$$ I(tp+(1-t)q) \le tI(p)+(1-t)I(q) $$
が成り立つ。ゆえに、$I$ は $(0,1]$ 上の凸関数である。
$$ \Box$$