テスト記事：二次形式のベクトル微分(勾配)の簡単な導出法

878

二次形式のベクトル微分(勾配)の簡単な導出法

二次形式のベクトル微分(勾配)

$n$ 次元実列ベクトルと $n$ 次実正方行列をそれぞれ

$\begin{matrix} x = (x_{1} \dots x_{n})^{⊤}, A = (\begin{matrix} a_{11} & \dots & a_{1 n} \\ ⋮ & ⋱ & ⋮ \\ a_{n 1} & \dots & a_{n n} \end{matrix}) \end{matrix}$

としたとき, $x^{⊤} A x$ を二次形式(Quadratic form)という.
さて,このベクトル微分

$\frac{\partial (x^{⊤} A x)}{\partial x}$ または, $grad (x^{⊤} A x) = \nabla (x^{⊤} A x)$

を導出する.
当然,

$x^{⊤} A x = \sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}$

であるから, $x_{k}$ での偏微分は,

$\begin{aligned} \frac{\partial (x^{⊤} A x)}{\partial x_{k}} & = \sum_{i = 1}^{n} \sum_{j = 1}^{n} (a_{i j} \frac{\partial x_{i}}{\partial x_{k}} x_{j} + a_{i j} x_{i} \frac{\partial x_{j}}{\partial x_{k}}) (∵ chain rule) \\ = \sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} δ_{i k} x_{j} + \sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} δ_{j k} \\ = \sum_{j = 1}^{n} a_{k j} x_{j} + \sum_{i = 1}^{n} a_{i k} x_{i} \end{aligned}$

よって, $k = 1, . . ., n$ を並べることにより,
$\frac{\partial (x^{⊤} A x)}{\partial x} = A x + A^{⊤} x = (A + A^{⊤}) x$

を得る.
これは,スカラーで言うと $\frac{d}{d x} a x^{2} = 2 a x$ に対応している.

Einsteinの規約を用いる方法

$\begin{aligned} \frac{\partial (x^{⊤} A x)}{\partial x} & = \frac{\partial}{\partial x_{k}} (a_{i j} x_{i} x_{j}) \\ = a_{i j} \frac{\partial x_{i}}{\partial x_{k}} x_{j} + a_{i j} x_{i} \frac{\partial x_{j}}{\partial x_{k}} (∵ chain rule) \\ = a_{i j} δ_{i k} x_{j} + a_{i j} x_{i} δ_{j k} \\ = a_{k j} x_{j} + a_{i k} x_{i} \\ = (A + A^{⊤}) x \end{aligned}$