【初歩】凸関数についてもう少しやっておく

Prop&Proof.

1. $f$ が $I$ 上の凸関数であると仮定する。
   任意に $x,y\in I$ を取る。
   i) $x=y$ の場合を考える。
   　 このとき、左辺については
   $$ f(y)=f(x) $$
   　 であり、右辺については $f'(x)(y-x)=0$ であるから
   $$ f(x)+f'(x)(y-x) = f(x)+f'(x)(x-x) = f(x) $$
   　 である。したがって、
   $$ f(y)=f(x)+f'(x)(y-x) $$
   　 が成り立つ。
   $ $
   ii) $x< y$ の場合を考える。
   　 $0< t<1$ とする。このとき、
   $$ x+t(y-x)=(1-t)x+ty $$
   　 である。ここで、$I$ は区間であり、$x,y\in I$ である。
   　 また、$x< y$ かつ $0< t<1$ より、
   $$ x< x+t(y-x)< y $$
   　 が成り立つ。したがって、$x+t(y-x)$ は $x$ と $y$ の間の点である。
   　 ゆえに
   $$ x+t(y-x)\in I $$
   　 である。そこで、$f$ が $I$ 上の凸関数であるから、凸関数の定義より
   $$ f(x+t(y-x)) = f((1-t)x+ty) \le (1-t)f(x)+tf(y) $$
   　 が成り立つ。
   　 両辺から $f(x)$ を引くと、
   $$ \begin{align} f(x+t(y-x))-f(x) &\le (1-t)f(x)+tf(y)-f(x) \\ &= -tf(x)+tf(y) \\ &= t(f(y)-f(x)) \end{align} $$
   　 である。ここで、$x< y$ かつ $0< t<1$ より、
   $$ t(y-x)>0 $$
   　 である。したがって、両辺を $t(y-x)$ で割ると、
   $$ \frac{f(x+t(y-x))-f(x)}{t(y-x)} \le \frac{f(y)-f(x)}{y-x} $$
   　 を得る。ここで、
   $$ u:=t(y-x) $$
   　 とおくと、
   $$ \frac{f(x+u)-f(x)}{u} \le \frac{f(y)-f(x)}{y-x} $$
   　 である。右辺は $u$ に依存しない定数であり、
   　 また左辺については、仮定より $f$ は $x$ で微分可能であるから、
   $$ \lim_{u\to0} \frac{f(x+u)-f(x)}{u} $$
   　 が存在する。したがって、対応する片側極限も存在する(補足を参照)。
   $ $
   　 したがって、$t\downarrow0$ として不等式の極限を取ることができる。
   　 そこで、$t\downarrow0$ のとき $u\downarrow0$ であり、
   $$ x+t(y-x)=x+u $$
   　 である。よって、$t\downarrow0$ とすると、
   $$ \lim_{u\downarrow0} \frac{f(x+u)-f(x)}{u} \le \frac{f(y)-f(x)}{y-x} $$
   　 を得る。
   　 $f$ は $x$ で微分可能であるから、定義より右微分係数は通常の微分係数に一致する(補足を参照)。
   　 したがって、
   $$ f'(x)\le \frac{f(y)-f(x)}{y-x} $$
   　 である。$y-x>0$ であるから、両辺に $y-x$ をかけて、
   $$ f'(x)(y-x)\le f(y)-f(x) $$
   　 を得る。すなわち、
   $$ f(y)\ge f(x)+f'(x)(y-x) $$
   　 が成り立つ。
   $ $
   iii) $x>y$ の場合を考える。
   　 $0< t<1$ とする。このとき、
   $$ x+t(y-x)=(1-t)x+ty $$
   　 である。ここで、$I$ は区間であり、$x,y\in I$ である。
   　 また、$x>y$ かつ $0< t<1$ より、
   $$ y< x+t(y-x)< x $$
   　 が成り立つ。したがって、$x+t(y-x)$ は $x$ と $y$ の間の点である。
   　 ゆえに
   $$ x+t(y-x)\in I $$
   　 である。そこで、$f$ が $I$ 上の凸関数であるから、凸関数の定義より
   $$ f(x+t(y-x)) = f((1-t)x+ty) \le (1-t)f(x)+tf(y) $$
   　 が成り立つ。
   　 両辺から $f(x)$ を引くと、
   $$ f(x+t(y-x))-f(x) \le t(f(y)-f(x)) $$
   　 である。
   　 ここで、$x>y$ かつ $0< t<1$ より、
   $$ t(y-x)<0 $$
   　 である。したがって、両辺を $t(y-x)$ で割ると、不等号の向きが逆になり、
   $$ \frac{f(x+t(y-x))-f(x)}{t(y-x)} \ge \frac{f(y)-f(x)}{y-x} $$
   　 を得る。ここで、
   $$ u:=t(y-x) $$
   　 とおくと、
   $$ \frac{f(x+u)-f(x)}{u} \ge \frac{f(y)-f(x)}{y-x} $$
   　 である。右辺は $u$ に依存しない定数であり、
   　 また左辺については、仮定より $f$ は $x$ で微分可能であるから、
   $$ \lim_{u\to0} \frac{f(x+u)-f(x)}{u} $$
   　 が存在する。したがって、対応する片側極限も存在する(補足を参照)。
   $ $
   　 したがって、$t\downarrow0$ として不等式の極限を取ることができる。
   　 ゆえに $t\downarrow0$ のとき $u\uparrow0$ であり、
   $$ x+t(y-x)=x+u $$
   　 である。よって、$t\downarrow0$ とすると、
   $$ \lim_{u\uparrow0} \frac{f(x+u)-f(x)}{u} \ge \frac{f(y)-f(x)}{y-x} $$
   　 を得る。
   　 $f$ は $x$ で微分可能であるから、左微分係数は通常の微分係数に一致する(補足を参照)。
   　 したがって、
   $$ f'(x)\ge \frac{f(y)-f(x)}{y-x} $$
   　 である。
   　 ここで、$y-x<0$ であるから、両辺に $y-x$ をかけると不等号の向きが逆になり、
   $$ f'(x)(y-x)\le f(y)-f(x) $$
   　 を得る。すなわち、
   $$ f(y)\ge f(x)+f'(x)(y-x) $$
   　 が成り立つ。
   $ $
   以上より、任意の $x,y\in I$ に対して、
   $$ f(y)\ge f(x)+f'(x)(y-x) $$
   が成り立つ。
   $ $
2. 逆に、任意の $x,y\in I$ に対して
   $$ f(y)\ge f(x)+f'(x)(y-x) $$
   が成り立つと仮定する。ここから、$f$ が $I$ 上の凸関数であることを示す。
   任意に $x,y\in I$ と $\theta\in[0,1]$ を取る。
   $$ z:=(1-\theta)x+\theta y $$
   とおく。$I$ は区間であり、$x,y\in I$ であるから、
   $$ z\in I $$
   である(補足を参照)。
   i) 仮定を $z$ と $x$ に適用すると、
   $$ f(x)\ge f(z)+f'(z)(x-z) $$
   　が成り立つ。
   ii) また、仮定を $z$ と $y$ に適用すると、
   $$ f(y)\ge f(z)+f'(z)(y-z) $$
   　 が成り立つ。
   第 $1$ の不等式の両辺に $1-\theta$ をかけ、第 $2$ の不等式の両辺に $\theta$ をかける。
   ここで、$1-\theta\ge0$ かつ $\theta\ge0$ であるから、不等号の向きは変わらない。
   したがって、
   $$ (1-\theta)f(x) \ge (1-\theta)f(z)+(1-\theta)f'(z)(x-z) $$
   であり、
   $$ \theta f(y) \ge \theta f(z)+\theta f'(z)(y-z) $$
   である。これらを足し合わせると、
   $$ \begin{align} (1-\theta)f(x)+\theta f(y) &\ge (1-\theta)f(z)+\theta f(z) \\ &\quad +f'(z)\{(1-\theta)(x-z)+\theta(y-z)\} \\ &= f(z)+f'(z)\{(1-\theta)(x-z)+\theta(y-z)\} \end{align} $$
   である。ここで、
   $$ \begin{align} (1-\theta)(x-z)+\theta(y-z) &= (1-\theta)x+\theta y-((1-\theta)+\theta)z \\ &= (1-\theta)x+\theta y-z \\ &= z-z \\ &= 0 \end{align} $$
   である。したがって、
   $$ (1-\theta)f(x)+\theta f(y)\ge f(z) $$
   である。すなわち、$z:=(1-\theta)x+\theta y$ であるから
   $$ f((1-\theta)x+\theta y) \le (1-\theta)f(x)+\theta f(y) $$
   が成り立つ。よって、$f$ は $I$ 上の凸関数である。
   $ $

-以上より、$f$ が $I$ 上の凸関数であることと、任意の $x,y\in I$ に対して
$$ f(y)\ge f(x)+f'(x)(y-x) $$
が成り立つことは同値である。
$$ \Box$$

任意に $x,y\in I$ と $t\in[0,1]$ を取る。
$I$ は区間であり、$x,y\in I$ であるから、
$$ tx+(1-t)y\in I $$
である(補足を参照)。各 $f_i$ は $I$ 上の凸関数であるから、任意の $i=1,\ldots,n$ に対して、
$$ f_i(tx+(1-t)y) \le t f_i(x)+(1-t)f_i(y) $$
が成り立つ。
ここで、$\lambda_i\ge0$ であるから、両辺に $\lambda_i$ をかけても不等号の向きは変わらない。したがって、
$$ \lambda_i f_i(tx+(1-t)y) \le \lambda_i\{t f_i(x)+(1-t)f_i(y)\} $$
が成り立つ。
これを $i=1,\ldots,n$ について足し合わせると、
$$ \sum_{i=1}^{n}\lambda_i f_i(tx+(1-t)y) \le \sum_{i=1}^{n}\lambda_i\{t f_i(x)+(1-t)f_i(y)\} $$
を得る。
右辺を整理すると、
$$ \begin{align} \sum_{i=1}^{n}\lambda_i\{t f_i(x)+(1-t)f_i(y)\} &= \sum_{i=1}^{n}\{\lambda_i t f_i(x)+\lambda_i(1-t)f_i(y)\} \qquad \because \text{分配法則} \\ &= \sum_{i=1}^{n}\{t\lambda_i f_i(x)+(1-t)\lambda_i f_i(y)\} \qquad \because \text{実数の積は交換可能} \\ &= \sum_{i=1}^{n}t\lambda_i f_i(x) + \sum_{i=1}^{n}(1-t)\lambda_i f_i(y) \qquad \because \text{有限和は和に分けられる} \\ &= t\sum_{i=1}^{n}\lambda_i f_i(x) + (1-t)\sum_{i=1}^{n}\lambda_i f_i(y) \qquad \because t\text{ と }1-t\text{ は }i\text{ に依存しない定数である} \\ &= t f(x)+(1-t)f(y) \qquad \because f(x):=\sum_{i=1}^{n}\lambda_i f_i(x),\quad f(y):=\sum_{i=1}^{n}\lambda_i f_i(y) \end{align} $$
である。
また、$f$ の定義より、
$$ f(tx+(1-t)y) = \sum_{i=1}^{n}\lambda_i f_i(tx+(1-t)y) $$
である。
したがって、
$$ f(tx+(1-t)y) \le t f(x)+(1-t)f(y) $$
が成り立つ。よって、$f$ は $I$ 上の凸関数である。
$$ \Box$$