二次関数の凸性
行列$\mathbf{A}\in\mathbb{R}^{n\times n}$を半正定値対称行列とする．このとき，二次関数
\begin{align}
f(\mathbf{x}) = \left<\mathbf{x}, \mathbf{Ax}\right>\; \colon \mathbf{R}^n\to\mathbf{R} \tag{1} \label{1}
\end{align}
は凸関数である．
条件より，行列$\mathbf{A}$は半正定値であるから，任意のベクトル$\mathbf{x}\in\mathrm{R}^n$に対して
$$
\left<\mathbf{x}, \mathbf{Ax}\right> \geqq 0
$$
が成り立つ．いま，二点$\mathbf{x},\,\mathbf{y}\in\mathbb{R}^n$とスカラー$\lambda\in (0,1)$に対して，以下が成り立つ:
\begin{align}
0 &\leqq f(\lambda \mathbf{x} + (1-\lambda)\mathbf{y}) \\
&= \left< \lambda \mathbf{x} + (1-\lambda)\mathbf{y}, \mathbf{A} (\lambda \mathbf{x} + (1-\lambda)\mathbf{y})\right> \\
&= \left< \mathbf{y} + \lambda(\mathbf{x} - \mathbf{y}), \mathbf{A}(\mathbf{y} + \lambda(\mathbf{x} - \mathbf{y})) \right> \\
&= \left< \mathbf{y}, \mathbf{Ay} \right> + 2\lambda \left< \mathbf{x}-\mathbf{y}, \mathbf{Ay}\right> + \lambda^2 \left< \mathbf{x}-\mathbf{y}, \mathbf{A}(\mathbf{x}-\mathbf{y}) \right> \\
&\leqq \left< \mathbf{y}, \mathbf{Ay} \right> + 2\lambda \left< \mathbf{x}-\mathbf{y}, \mathbf{Ay}\right> + \lambda \left< \mathbf{x}-\mathbf{y}, \mathbf{A}(\mathbf{x}-\mathbf{y}) \right> \\
&= \left< \mathbf{y}, \mathbf{Ay} \right> + \lambda \left< \mathbf{x}-\mathbf{y}, \mathbf{Ay}\right> + \lambda \left< \mathbf{x}-\mathbf{y}, \mathbf{Ax} \right> \\
&= \left< \mathbf{y}, \mathbf{Ay} \right> + \lambda \left< -\mathbf{y}, \mathbf{Ay}\right> + \lambda \left< \mathbf{x}, \mathbf{Ax} \right> \\
&= \lambda \left< \mathbf{x}, \mathbf{Ax} \right> + (1 - \lambda) \left< \mathbf{y}, \mathbf{Ay} \right> \\
&= \lambda f(\mathbf{x}) + (1-\lambda)f(\mathbf{y}).
\end{align}
ここで，第4行目の等号は行列$\mathbf{A}$が対称であることより$\left< \mathbf{x}, \mathbf{Ay} \right>=\left< \mathbf{y}, \mathbf{Ax} \right>$ゆえ成り立つ．第5行目の不等号は$0<\lambda <1$より$\lambda^2 < \lambda$であることと行列$\mathbf{A}$の半正定値性より成り立つ．したがって，式(\ref{1})で定義される関数$f$は凸関数である．