エルミート行列に対するスペクトル定理とは、その固有ベクトルからなる正規直交基底が存在して対角化できるというよく知られた定理です。
しかし、この定理のラグランジュ未定乗数法を用いた簡潔な証明はあまり知られていないと思うので、今回紹介しようと思います。
まず、ラグランジュ未定乗数法を簡単に復習しておきます。
$f(x),g(x)$を、$\mathbb{R}^n$内の開集合$U$上で定義された連続微分可能な$\mathbb{R}$値関数とする。$U\times (-\infty,\infty)$で定義された連続微分可能な関数を$F(x,t)=f(x)-t\cdot g(x)$で定義する。$a\in U$とする。
$f(x)$が$x=a$で条件$g(x)=0$のもとでの極値を取るならば、次の(1),(2)のいずれかが成り立つ。
証明の詳細は微積分の本に任せることにし、要点だけ説明します。
(2)を否定したときに(1)が成り立つことを示せばよいですが、このとき陰関数定理を用いることで方程式$g(x)=0$が$x=a$の近傍で曲線を定めることが分かるので、この曲線に$f(x)$を制限した一変数関数が極値を持つ条件を考えればよいです。このように一端、多変数関数に曲線を合成して得られる一変数関数の極値問題に帰着してしまえば、あとは簡単ですね。
それでは本題の定理を証明します。
以下では、$\mathbb{C}^n$は縦ベクトルの空間とし、$v,w\in \mathbb{C}^n$に対し、通常の内積$v\cdot w:=v^*w=\bar{v_1}w_1+\cdots +\bar{v_n}w_n$を考えることにします。
$A:\mathbb{C}^n \to \mathbb{C}^n$をエルミート行列とする。このとき、$\mathbb{C}^n$の正規直交基底$v_1,\cdots,v_n\in \mathbb{C}^n$及び$A$の実固有値$\lambda_1,\cdots,\lambda_n\in \mathbb{R}$が存在し、任意の$1\le i \le n$に対し$Av_i=\lambda_i v_i$となる。
次元$n\ge 1$に関する帰納法で示す。$n=1$の場合は$A\in \mathbb{R}$となるので明らかである。$n-1$の場合を仮定する。最大のポイントは、拘束条件$v^*v= \left\| v \right\| ^2=1$の下で、二次形式の複素版の実部を取った$f(v)=\mathrm{Re}v^*Av$という $\mathbb{C}^n$上の$\mathbb{R}$値関数の極値問題を考えることにある。ここで、ラグランジュ未定乗数法を適用するために、$\mathbb{R}$線形同型$\mathbb{R}^{2n} \cong \mathbb{C}^n,(x_1,y_1,\cdots,x_n,y_n) \mapsto (x_1+iy_1,\cdots,x_n+iy_n)$によって同一視したときの関数$f:\mathbb{C}^n \to \mathbb{R}$と$v\in \mathbb{C}^n$をそれぞれ、$f^{\mathbb{R}}:\mathbb{R}^{2n}\to \mathbb{R}, v^{\mathbb{R}}$と書くことにする。
コンパクト集合上の$\mathbb{R}$値連続関数は最大値を持つので、$v^*v=1$を満たす$v\in \mathbb{C}^n$が存在し、$f(v)$が最大値を実現する。(ここで、特に$v\neq 0$より、$v^{\mathbb{R}}\neq 0$は$g(v)=v^*v-1$に対し定理1の(2)の条件を満たさないことは、以下の計算からほとんど明らかになる。)
定理1のラグランジュの未定乗数法の(1)より、ある$\lambda\in \mathbb{R}$が存在し、$F(v):=f(v)-\lambda v^*v$は$(DF^{\mathbb{R}})_{v^{\mathbb{R}}}=0$を満たす。よって、特に任意の$w\in \mathbb{C}^n$に対し、$w^{\mathbb{R}}$方向の微分$(DF^{\mathbb{R}})_{v^{\mathbb{R}}}(w^{\mathbb{R}})=0$を満たす。
ここで、chain rule及び$(v+tw)^{\mathbb{R}}=v^{\mathbb{R}}+tw^{\mathbb{R}}$より、$$(DF^{\mathbb{R}})_{v^{\mathbb{R}}}(w^{\mathbb{R}})= \frac{d}{dt}F^{\mathbb{R}}(v^{\mathbb{R}}+tw^{\mathbb{R}}) \vert_{t=0} =\frac{d}{dt}F(v+tw) \vert_{t=0}$$
となることに注意する。
\begin{align}
F(v+tw) &=\mathrm{Re}(v+tw)^*A(v+tw)-\lambda (v+tw)^*(v+tw)
\\ &=\mathrm{Re}(v^*Av+t(v^*Aw+w^*Av)+t^2w^*Aw)-\lambda(v^*v+t(v^*w+w^*v)+t^2w^*w)
\end{align}
となる。$A=A^*$より、$v^*Aw=(w^*Av)^*$なので、
\begin{align}
\frac{d}{dt}F(v+tw) \vert_{t=0} &=\mathrm{Re}(v^*Aw+w^*Av)-\lambda(v^*w+w^*v) \\ &=2\mathrm{Re}(w^*(Av-\lambda v))
\end{align}
を得る。よって、任意の$w\in \mathbb{C}^n$に対し、$\mathrm{Re}(w^*(Av-\lambda v))=0$となるので、$Av=\lambda v$となる。すなわち、$v$は$A$の固有値$\lambda \in \mathbb{R}$に関する固有ベクトルであることが分かる。
$v$の直交補空間を、$v^{ \perp }:=\lbrace w\in \mathbb{C}^n \ | \ v^*w=0 \rbrace$とおけば、$\mathbb{C}^n=\mathbb{C}v \oplus v^{ \perp }$と直和分解される。
$Av^{\perp}\subset v^{\perp}$である。実際、$v^*w=0$とすると、$A=A^*$より、$$v^*(Aw)=(w^*Av)^*=(w^*\lambda v)^*=\lambda (w^*v)^*=\lambda v^*w=0$$となるので、$Aw\in v^{\perp}$となる。
したがって、$A$を次元$n-1$の部分空間$W:=v^{\perp}$に制限して得られる$W$上の自己準同型を$T:W\to W$とおく。この$T$に対して帰納法の仮定を適用しにいきたいので、以下のように考える。
まず、$T$はエルミート変換である。実際、$A$はエルミート行列なので、任意の$v,w\in \mathbb{C}^n$に対し、$(Av)^*w=v^*(Aw)$となる。よって、特に任意の$v,w\in W$に対し、$(Tv)^*w=(Av)^*w=v^*(Aw)=v^*(Tw)$となることから従う。
次に、$W$の適当な正規直交基底$\mathcal{B}$を取り、$\mathcal{B}$が定める$\mathbb{C}$線形同型を$\phi:\mathbb{C}^{n-1}\to W$とおくと、$\phi$は正規直交基底を正規直交基底にうつすのでユニタリ変換である。これより、$\mathcal{B}$に関する$T$の行列表示を$B$とすれば、$B$は$n-1$次のエルミート行列となる。実際、任意の$x,y\in \mathbb{C}^{n-1}$に対し、ユニタリ変換は内積を保ち、$T$はエルミート変換なので、$$(Bx)^*y=(\phi^{-1}\circ T \circ \phi (x))^*y=(T\circ \phi (x))^*\phi (y)=\phi (x)^*(T\circ \phi (y))=x^*(\phi^{-1}\circ T \circ \phi (x))=x^*(By)$$が成り立つことから従う。
$B$に対して、帰納法の仮定より、$\mathbb{C}^{n-1}$の正規直交基底$v_1',\cdots,v_{n-1}'\in \mathbb{C}^{n-1}$及び$B$の実固有値$\lambda_1,\cdots,\lambda_{n-1}\in \mathbb{R}$が存在し、任意の$1\le i \le n-1$に対し$Bv_i'=\lambda_i v_i'$となる。
ここで、任意の$1\le i \le n-1$に対し、$v_i:=\phi (v_i')\in W$とおけば、$\phi$はユニタリ変換なので、$W$の正規直交基底である。さらに、$Av_i=T(v_i)=\phi (Bv_i')=\phi (\lambda_iv_i')=\lambda_i\phi (v_i')=\lambda_iv_i$を満たす。
したがって、$W=v^{\perp}$なので、$v_1,\cdots,v_{n-1},v$が求めるべき正規直交基底を与える。(証明終)
ちなみに、上の証明方法はTerence Taoのランダム行列の本から勉強しました。やはり流石です。
今回はこれで終わりたいと思います。お疲れ様でした。