テスト記事：二次形式のベクトル微分(勾配)の簡単な導出法

二次形式のベクトル微分(勾配)の簡単な導出法

二次形式のベクトル微分(勾配)

$n$次元実列ベクトルと$n$次実正方行列をそれぞれ

$ \begin{gather} \boldsymbol x=(x_1 \ \cdots \ x_n)^\top, \boldsymbol A=\begin{pmatrix} a_{11} & \cdots & a_{1n}\\ \vdots & \ddots & \vdots \\ a_{n1} & \cdots & a_{nn} \end{pmatrix} \end{gather} $

としたとき,$\boldsymbol {x^\top Ax}$を二次形式(Quadratic form)という.
さて,このベクトル微分

$ \dfrac{\partial (\boldsymbol {x^\top Ax})}{\partial \boldsymbol x} \ \ $または,$\ \ \mathrm{grad}(\boldsymbol {x^\top Ax}) =\nabla(\boldsymbol {x^\top Ax}) $

を導出する.
当然,

$ \displaystyle \boldsymbol {x^\top Ax}=\sum_{i=1}^n \sum_{j=1}^n a_{ij}x_ix_j $

であるから,$x_k$での偏微分は,

$ \displaystyle \begin{align} \frac{\partial (\boldsymbol {x^\top Ax})}{\partial x_k} &=\sum_{i=1}^n \sum_{j=1}^n \left( a_{ij}\frac{\partial x_i}{\partial x_k}x_j+a_{ij}x_i\frac{\partial x_j}{\partial x_k} \right) (\because \mathrm{chain \ rule})\\ &=\sum_{i=1}^n \sum_{j=1}^n a_{ij}\delta_{ik}x_j+\sum_{i=1}^n \sum_{j=1}^n a_{ij}x_i\delta_{jk}\\ &=\sum_{j=1}^n a_{kj}x_j+\sum_{i=1}^n a_{ik}x_i\\ \end{align} $

よって,$k=1,...,n$を並べることにより,
$ \dfrac{\partial (\boldsymbol {x^\top Ax})}{\partial \boldsymbol x} =\boldsymbol{Ax+A^\top x} =(\boldsymbol{A+A^\top})\boldsymbol x $

を得る.
これは,スカラーで言うと$\dfrac{\mathrm d}{\mathrm d x}ax^2=2ax$に対応している.

Einsteinの規約を用いる方法

$ \displaystyle \begin{align} \frac{\partial (\boldsymbol {x^\top Ax})}{\partial \boldsymbol x} &=\frac{\partial}{\partial x_k}(a_{ij}x_ix_j)\\ &=a_{ij}\frac{\partial x_i}{\partial x_k}x_j+a_{ij}x_i\frac{\partial x_j}{\partial x_k} (\because \mathrm{chain \ rule})\\ &=a_{ij}\delta_{ik}x_j+a_{ij}x_i\delta_{jk}\\ &=a_{kj}x_j+a_{ik}x_i\\ &=(\boldsymbol{A+A^\top})\boldsymbol x \end{align} $

と,煩雑でなくなるため,慣れている者はこうすると良い.

例題(レーリー商の停留点)

$\dfrac{\boldsymbol {x^\top Ax}}{\boldsymbol {x^\top x}}$をレーリー商(Rayleigh quotient)という.$\boldsymbol {A^\top=A}$のとき,停留点を求めよ.

解答

$ \dfrac{\partial}{\partial \boldsymbol x}\left(\dfrac{\boldsymbol {x^\top Ax}}{\boldsymbol {x^\top x}}\right) =\dfrac{2\boldsymbol{Ax}\cdot(\boldsymbol {x^\top x})-(\boldsymbol {x^\top Ax})\cdot 2\boldsymbol {Ix}}{(\boldsymbol {x^\top x})^2}=\boldsymbol0 $

よって,

$ \boldsymbol{Ax}(\boldsymbol {x^\top x})=(\boldsymbol {x^\top Ax}) \boldsymbol x \iff \boldsymbol{Ax}=\left(\dfrac{\boldsymbol {x^\top Ax}}{\boldsymbol {x^\top x}}\right)\boldsymbol x $

従って,$\boldsymbol {x \neq 0}$ゆえ,レーリー商の停留点は$\boldsymbol A$の固有ベクトルである.

終わりに

初投稿でしたが,操作が直感的でわかりやすく(改行がそのまま反映されるなど),自動プレビューが出てくるので,書き心地が良かったです.