Lagrangeの未定乗数法
幾何的解釈・直感的説明はさて措き，線型代数的には以下の図式にまとめられる（cf. covect）：
$$ \xymatrix{ {0} \ar[rr] && {\T_{p}(M)} \ar[rr]^{\T_{p}(\iota)} \ar[rrdd]_{\d{f_{M}}(p)\,=\,0} && {\T_{p}(X)} \ar[rr]^{\d{g}(p)} \ar[dd]_{\d{f}(p)} && {\mathbb{R}^{k}} \ar@{.>}[ddll]^{\lambda^{*}} \ar[rr] && {0}\\ \\ &&&& {\mathbb{R}} }$$
線型形式の従属性
$V$を実線型空間とし，$f,g\in V^{*}$とする．このとき，$\Ker{f}\supset\Ker{g}$が成り立つならば，$\lambda\in\mathbb{R}$であって$f=\lambda g$なるものが存在する．（逆は明らか．）
- $\Ker{g}=V$のときは，$f=g=0$であるから，$\lambda\coloneqq 0\in\mathbb{R}$とおけばよい．
- $\Ker{g}\neq V$のとき，$v_{1}\in V\smallsetminus\Ker{g}$を取ると，任意の$v\in V$に対して
$$ g\left(v-v_{1}\frac{gv}{gv_{1}}\right)=0 \quad\leadsto\quad 0 = f\left(v-v_{1}\frac{gv}{gv_{1}}\right) = fv-\frac{fv_{1}}{gv_{1}}gv$$
が成り立つので，$\lambda\coloneqq fv_{1}/gv_{1}\in\mathbb{R}$とおけば$f=\lambda g$が成り立つ．
$V$を実線型空間とし，$f,g_{1},g_{2}\in V^{*}$とする．このとき，$\Ker{f}\supset\Ker{g_{1}}\cap\Ker{g_{2}}$が成り立つならば，$\lambda_{1},\lambda_{2}\in\mathbb{R}$であって$f=\lambda_{1}g_{1}+\lambda_{2}g_{2}$なるものが存在する．（逆は明らか．）
- $\Ker{g_{1}}\subset\Ker{g_{2}}$のとき，上例より
$$ \Ker{f}\supset\Ker{g_{1}} \quad\leadsto\quad \exists\,\lambda_{1}\in\mathbb{R},\ f=\lambda_{1}g_{1}$$
となるので，$\lambda_{2}\coloneqq 0\in\mathbb{R}$とおけばよい． - $\Ker{g_{2}}\subset\Ker{g_{1}}$のときも同様．
- $\Ker{g_{i}}\not\subset\Ker{g_{3-i}}$のとき，
$$ v_{1}\in\Ker{g_{2}}\smallsetminus\Ker{g_{1}},\ v_{2}\in\Ker{g_{1}}\smallsetminus\Ker{g_{2}}$$
を取ると，任意の$v\in V$に対して
$$ \begin{dcases} g_{1}\left(v-v_{1}\frac{g_{1}v}{g_{1}v_{1}}-v_{2}\frac{g_{2}v}{g_{2}v_{2}}\right) =0\\[3pt] g_{2}\left(v-v_{1}\frac{g_{1}v}{g_{1}v_{1}}-v_{2}\frac{g_{2}v}{g_{2}v_{2}}\right) =0 \end{dcases} \quad\leadsto\quad 0=f\left(v-v_{1}\frac{g_{1}v}{g_{1}v_{1}}-v_{2}\frac{g_{2}v}{g_{2}v_{2}}\right) = fv - \frac{fv_{1}}{g_{1}v_{1}}g_{1}v - \frac{fv_{2}}{g_{2}v_{2}}g_{2}v$$
が成り立つので，$\lambda_{i}\coloneqq fv_{i}/g_{i}v_{i}\in\mathbb{R}$とおけば$f=\lambda_{1}g_{1}+\lambda_{2}g_{2}$が成り立つ．
$V$を実線型空間とし，$f,g_{1},\ldots,g_{k}\in V^{*}$とする．このとき，
$$
\Ker{f}\supset\bigcap_{i=1}^{k} \Ker{g_{i}}$$
が成り立つならば，$\lambda_{1},\ldots,\lambda_{k}\in\mathbb{R}$であって
$$
f=\sum_{i=1}^{k} \lambda_{i}g_{i}$$
を満たすものが存在する．（逆は明らか．）
$\mathbb{R}^{k}$の標準基底を$\epsilon_{1},\ldots,\epsilon_{k}$とし，線型写像$g\colon V\to\mathbb{R}^{k}$を
$$
gv \coloneqq \sum_{i=1}^{k} \epsilon_{i}g_{i}v$$
で定める．仮定より
$$
\Ker{f} \supset \bigcap_{i=1}^{k} \Ker{g_{i}} = \Ker{g}$$
であるから，線型写像$\bar{f}\colon V/\Ker{g} \to \mathbb{R}$が誘導される：
$$
\xymatrix{
{V} \ar[rr]^{f} \ar[dd]&& {\mathbb{R}.} \\
\\
{V/\,\Ker\,g} \ar@{.>}[uurr]_{\bar{f}}
}$$
さらに，線型写像$\Im\,g \cong V/\Ker{g} \to \mathbb{R}$の$\mathbb{R}^{k}$への拡張を$\lambda^{*}$とおく：
$$
\lambda^{*} \colon \mathbb{R}^{k} \xrightarrow{\text{proj.}} \Im\,g \cong V/\Ker{g} \xrightarrow{\bar{f}} \mathbb{R}.$$
このとき，任意の$v\in V$に対して
$$
fv = \bar{f}(v+\Ker{g}) = \lambda^{*}gv = \lambda^{*}\left(\sum_{i=1}^{k} \epsilon_{i}g_{i}v\right) = \sum_{i=1}^{k} (\lambda^{*}\epsilon_{i})(g_{i}v)$$
が成り立つので，$\lambda_{i}\coloneqq \lambda^{*}\epsilon_{i}\in\mathbb{R}$とおけば$f = \sum \lambda_{i}g_{i}$が成り立つ．
$$
\Ker{f} \supset \Ker{g} \iff f \in (\Ker{g})^{\perp}$$
であり，
\begin{align}
v\in\Ker{g}
&\iff gv=0 \\
&\iff \forall\,\lambda^{*}\in(\mathbb{R}^{k})^{*},\ \langle \lambda^{*},gv \rangle = 0\\
&\iff \forall\,\lambda^{*}\in(\mathbb{R}^{k})^{*},\ \langle g^{\t}\lambda^{*},v \rangle = 0 \\
&\iff v \in (\Im\,g^{\t})^{\perp}
\end{align}
より（$V$が有限次元のとき）
$$
(\Ker{g})^{\perp} = (\Im\,g^{\t})^{\perp\perp} = \Im\,g^{\t}$$
となるので，
$$
\langle g^{\t}\lambda^{*},v \rangle = \langle \lambda^{*}, gv \rangle = \sum_{i=1}^{k} \lambda_{i}g_{i}v$$
と併せて，結論を得る．
Lagrangeの未定乗数法
$V$を有限次元実線型空間とし，$g_{1},\ldots,g_{k}\in V^{*}$とする．このとき，$g_{1},\ldots,g_{k}$が線型独立ならば，線型写像
$$
g \colon V \to \mathbb{R}^{k};\ v \mapsto \sum_{i=1}^{k} \epsilon_{i}g_{i}v$$
は全射である．
$n\coloneqq \dim{V}$とおく．線型独立なベクトル$g_{1},\ldots,g_{k}$を延長して得られる$V^{*}$の基底を$g_{1},\ldots,g_{n} \in V^{*}$とし，その双対基底を$\beta_{1},\ldots,\beta_{n} \in V^{**}=V$とおく．このとき，各$j\in\{1,\ldots,n\}$に対して
$$
g\beta_{j} = \sum_{i=1}^{k} \epsilon_{i} g_{i}\beta_{j} = \begin{cases}
\epsilon_{j} & 1 \leq j \leq k\\
0 & k < j \leq n
\end{cases}$$
が成り立つので，
$$
\rank{g} = \rank\begin{bmatrix}
E_{k} & O_{k,n-k}
\end{bmatrix} = k$$
を得る．
$X$を可微分多様体，$f,g_{1},\ldots,g_{k} \in C^{\infty}(X)$とし，
$$
M \coloneqq \bigcap_{i=1}^{k} g_{i}^{-1}(0),\ f_{M} \coloneqq f|M \colon M \to \mathbb{R}$$
とおく．さらに，各点$p \in M$において$\d{g_{1}}(p),\ldots,\d{g_{k}}(p) \in \mathrm{T}_{p}^{*}(X)=\mathrm{T}_{p}(X)^{*}$が線型独立であるとする．このとき次が成り立つ：
- $M\subset X$は余次元$k$の（正則）部分多様体である．
- $p\in M$が$f_{M}$の臨界点であるためには，$\lambda_{\bullet}\in\mathbb{R}^{k}$であって
$$ \d{f}(p) = \sum_{i=1}^{k} \lambda_{i}\d{g_{i}}(p)$$
を満たすものが存在することが必要かつ十分である．
(1)
可微分写像$g\colon X\to\mathbb{R}^{k}$を
$$
g(x)\coloneqq (g_{1}(x),\ldots,g_{k}(x)) = \sum_{i=1}^{k} \epsilon_{i}g_{i}(x)$$
で定める．ここで，
\begin{align}
\d{g_{i}}(x) &\colon \mathrm{T}_{x}(X) \xrightarrow{\mathrm{T}_{x}(g_{i})} \mathrm{T}_{g_{i}(x)}(\mathbb{R}) \cong \mathbb{R};\\
\d{g}(x) = \sum_{i=1}^{k} \epsilon_{i}\d{g_{i}}(x) &\colon \T_{x}(X) \xrightarrow{\T_{x}(g)\phantom{_{i}}} \T_{g(x)}(\mathbb{R}^{k}) \cong \mathbb{R}^{k};
\end{align}
に注意すると（cf. toa(16.5.7),(16.20.2); leepp.280-284），仮定より，各$p\in M=g^{-1}(0)$において$\T_{p}(g)$が全射であることがわかる（cf. rank）．よって$0\in\mathbb{R}^{k}$は$g$の正則値であるから，$M\subset X$は余次元$k$の（正則）部分多様体である（cf. toa(16.7.1),(16.8.8); leeCor.5.14）．
(2)
$\iota\colon M \to X$を包含写像とし$p\in M$とすると，線型空間の系列
$$
0 \longrightarrow \mathrm{T}_{p}(M) \xrightarrow{\mathrm{T}_{p}(\iota)} \mathrm{T}_{p}(X) \xrightarrow{\mathrm{T}_{p}(g)} \mathrm{T}_{0}(\mathbb{R}^{k}) \longrightarrow 0$$
は完全である：実際，$\T_{p}(\iota)$の単射性および$\T_{p}(g)$の全射性は明らかであり，$g\circ\iota=0$より
$$
\T_{p}(g)\circ\T_{p}(\iota) = 0 \quad\leadsto\quad \Im\,\T_{p}(\iota) \subset \Ker\T_{p}(g)$$
となるので
$$
\dim\Im\,\T_{p}(\iota) = \dim{M} = \dim{X}-k = \dim\Ker\T_{p}(g)$$
と併せて$\Im\,\T_{p}(\iota) = \Ker\T_{p}(g)$を得る．
- $p\in M$が$f_{M}$の臨界点であるとき，$f_{M}=f\circ\iota$より
$$ 0 = \d{f_{M}}(p) = \d{f}(p)\circ\mathrm{T}_{p}(\iota)$$
となるので，
$$ \Ker{\d{f}(p)} \supset \Im\,\mathrm{T}_{p}(\iota) = \Ker\T_{p}(g) = \Ker\d{g}(p) = \bigcap_{i=1}^{k} \Ker\d{g_{i}}(p)$$
が成り立つ．よって，lin-depより，$\lambda_{\bullet}\in\mathbb{R}^{k}$であって
$$ \d{f}(p) = \sum_{i=1}^{k} \lambda_{i}\d{g_{i}}(p)$$
を満たすものが存在する． - 逆は明らか：
$$ \d{f_{M}}(p) = \d{f}(p)\circ\T_{p}(\iota) = \sum_{i=1}^{k} \lambda_{i} \d{g_{i}}(p)\circ\T_{p}(\iota) = \sum_{i=1}^{k} \lambda_{i} \d{(g_{i}\circ\iota)}(p) = 0.$$
$(U,\varphi)$を$p\in X$の周りのチャートとし
$$
F \coloneqq (f|U)\circ\varphi^{-1},\ G_{i} \coloneqq (g_{i}|U)\circ\varphi^{-1}$$
とおくと，
$$
\d{f}(p) = \sum_{j=1}^{\dim{X}} \mathrm{D}_{j}F(\varphi(p))\d{\varphi_{j}}(p),\ \d{g_{i}}(p) = \sum_{j=1}^{\dim{X}} \mathrm{D}_{j}G_{i}(\varphi(p))\d{\varphi_{j}}(p)$$
と書ける（cf. toa(16.5.8.4); leep.281）．よって，
$$
\d{f}(p) = \sum_{i=1}^{k} \lambda_{i}\d{g_{i}}(p)$$
という関係は
$$
\grad{F}(\varphi(p)) = \sum_{i=1}^{k} \lambda_{i}\grad{G_{i}}(\varphi(p))$$
と表わせる．
$\lambda_{\bullet}\in\mathbb{R}^{k}$を線型形式（“横ベクトル”）$\lambda^{*}\colon\mathbb{R}^{k}\to\mathbb{R}$と見做すと
$$
\sum_{i=1}^{k} \lambda_{i} \langle \d{g_{i}}(p), v_{p} \rangle = \begin{bmatrix}
\lambda_{1} &\cdots& \lambda_{k}
\end{bmatrix} \begin{bmatrix}
\langle \d{g_{1}}(p), v_{p} \rangle \\
\vdots \\
\langle \d{g_{k}}(p), v_{p} \rangle
\end{bmatrix} = \lambda^{*} \langle \d{g}(p), v_{p} \rangle$$
となるので，
$$
\d{f}(p) = \sum_{i=1}^{k} \lambda_{i}\d{g_{i}}(p) $$
という関係は
$$
\d{f}(p) = \lambda^{*}\circ\d{g}(p) = (\d{g}(p))^{\t}(\lambda^{*})$$
と表わせる（cf. dual; craTheorem 1.）：
$$
\xymatrix{
{0} \ar[rr] && {\T_{p}(M)} \ar[rr]^{\T_{p}(\iota)} \ar[rrdd]_{\d{f_{M}}(p)\,=\,0} && {\T_{p}(X)} \ar[rr]^{\d{g}(p)} \ar[dd]_{\d{f}(p)} && {\mathbb{R}^{k}} \ar@{.>}[ddll]^{\lambda^{*}} \ar[rr] && {0.}\\ \\
&&&& {\mathbb{R}}
}$$
$\d{f_{M}}(p)=0$のとき，$\d{f}(p)=\sum \prescript{\exists}{}\lambda_{i}\d{g_{i}}(p)$より
$$
\d{f}(p) \wedge \d{g_{1}}(p) \wedge\cdots\wedge \d{g_{k}}(p) = 0$$
が成り立つ．逆に，この等式が成り立つとき，線型独立なベクトル$\beta_{1}^{*}\coloneqq \d{g_{1}}(p),\ldots,\beta_{k}^{*}\coloneqq \d{g_{k}}(p)$を延長して得られる$\T_{p}(X)^{*}$の基底を$\beta_{1}^{*},\ldots,\beta_{n}^{*}$とし$\d{f}(p)=\sum \lambda_{i}\beta_{i}^{*}$とおくと
$$
0 = \d{f}(p) \wedge \beta_{1}^{*} \wedge\cdots\wedge \beta_{k}^{*} = \sum_{i=k+1}^{n} \lambda_{i} \beta_{i}^{*} \wedge \beta_{1}^{*} \wedge\cdots\wedge \beta_{k}^{*} \quad\leadsto\quad \lambda_{k+1} =\cdots= \lambda_{n} = 0$$
が成り立つので，
$$
\d{f}(p)=\sum_{i=1}^{k} \lambda_{i}\d{g_{i}}(p) \quad\leadsto\quad \d{f_{M}}(p)=0$$
を得る．
例をいくつか
$f,g\colon\mathbb{R}^{2}\to\mathbb{R}$を
$$
f(x,y) \coloneqq x+y;\ g(x,y) = x^{2}+y^{2}-r^{2},\ r>0$$
で定めると，
$$
\d{f}(a,b) = \d{x}(a,b)+\d{y}(a,b),\ \d{g}(a,b) = 2a\d{x}(a,b)+2b\d{y}(a,b)$$
より
$$
\d{f}(a,b) \wedge \d{g}(a,b) = 2(b-a)\d{x}(a,b) \wedge \d{y}(a,b)$$
となる．よって，$f|g^{-1}(0)$が$(a,b)\in g^{-1}(0)=\mathbb{S}^{1}(r)$で最大値・最小値を取ったとすると
$$
\begin{dcases}
a=b \\
a^{2}+b^{2}=r^{2}
\end{dcases} \quad\leadsto\quad (a,b) = \left(\pm\frac{r}{\sqrt{2}},\pm\frac{r}{\sqrt{2}}\right)$$
が必要であり，
$$
f(a,b) = \pm\frac{2r}{\sqrt{2}},\ 0$$
より，最大値は$r\sqrt{2}$，最小値は$-r\sqrt{2}$であることがわかる．
$g\colon\mathbb{R}^{2}\to\mathbb{R}$が$g^{-1}(0)\neq\varnothing$かつ
$$
\forall\,p\in g^{-1}(0),\ \d{g}(p)\neq 0$$
を満たしているとする．このとき，定点$a\notin g^{-1}(0)$を取り
$$
f(x,y) \coloneqq (x-a_{1})^{2}+(y-a_{2})^{2}$$
と定めると，$f|g^{-1}(0)$は最小値を取る（cf.
別記事：命題7
）．よって，そのような点$p\in g^{-1}(0)$において，
$$
\d{f}(p) = \prescript{\exists}{}\lambda \d{g}(p) \quad\leadsto\quad \begin{bmatrix}
p_{1}-a_{1} \\ p_{2}-a_{2}
\end{bmatrix} = \frac{\lambda}{2} \begin{bmatrix}
\frac{\partial{g}}{\partial{x}}(p) \\ \frac{\partial{g}}{\partial{y}}(p)
\end{bmatrix}$$
が成り立つので，ベクトル$p-a$は点$p\in g^{-1}(0)$における法線ベクトルと平行，すなわち接線に直交する．
$g \colon \mathbb{R}^{n}\to\mathbb{R}$を
$$
g(x) \coloneqq a_{1}x_{1}+\cdots+a_{n}x_{n}+c,\ \sum_{i=1}^{n} a_{i}^{2} \neq 0 \quad\leadsto\quad \d{g}(p)= \sum_{i=1}^{n} a_{i}\d{x_{i}}(p)\neq 0$$
で定める．このとき，定点$b\notin g^{-1}(0)$を取り
$$
f(x) \coloneqq (x_{1}-b_{1})^{2} +\cdots+ (x_{n}-b_{n})^{2}$$
と定めると，$f|g^{-1}(0)$が最小となる点$p\in g^{-1}(0)$において
$$
\d{f}(p)= 2\prescript{\exists}{}\lambda\d{g}(p) \quad\leadsto\quad \forall\,i\in\{1,\ldots,n\},\ p_{i}-b_{i} = \lambda a_{i}$$
が成り立つ．よって
$$
0=g(p) = \sum_{i=1}^{n} a_{i}p_{i} + c = \sum_{i=1}^{n} a_{i}(\lambda a_{i}+b_{i})+c \quad\leadsto\quad \lambda = -\frac{\sum a_{i}b_{i} + c}{\sum a_{i}^{2}}$$
となるので，
$$
\dist{b}{g^{-1}(0)} = \sqrt{f(p)} = \sqrt{\sum_{i=1}^{n} (\lambda a_{i})^{2}} = \sqrt{\frac{(\sum a_{i}b_{i} +c)^{2}}{\sum a_{i}^{2}}} = \frac{|a_{1}b_{1} +\cdots+ a_{n}b_{n} +c|}{\sqrt{a_{1}^{2} +\cdots+ a_{n}^{2}}}$$
を得る．
対称行列$A=[a_{ij}]\in\mathrm{M}_{n}(\mathbb{R})$から定まる二次形式を$f \colon \mathbb{R}^{n}\to\mathbb{R}$とする：
$$
f(x) \coloneqq \langle x \mid Ax \rangle = \sum_{i=1}^{n} \left(x_{i} \sum_{j=1}^{n} a_{ij}x_{j}\right) = \sum_{i,j} a_{ij}x_{i}x_{j} = \sum_{i=1}^{n} a_{ii}x_{i}x_{i} + 2\sum_{i< j} a_{ij}x_{i}x_{j}.$$
また，$g\colon\mathbb{R}^{n}\to\mathbb{R}$を
$$
g(x) \coloneqq (x_{1})^{2}+\cdots+(x_{n})^{2}-1$$
で定めると，$g^{-1}(0)=\mathbb{S}^{n-1}$であり，各点$p\in\mathbb{S}^{n-1}$において
$$
\d{g}(p) = \sum_{i=1}^{n} 2p_{i}\d{x_{i}}(p) \neq 0$$
が成り立つ．
- $f$の微分を計算すると
$$ \mathrm{D}_{k}f(p) = 2a_{kk}p_{k} + 2\sum_{\ell\neq k} a_{k\ell}p_{\ell} = 2\sum_{\ell=1}^{n} a_{k\ell}p_{\ell} \quad\leadsto\quad \d{f}(p) = 2\sum_{k=1}^{n} \left(\sum_{\ell=1}^{n} a_{k\ell}p_{\ell} \right)\d{x_{k}}(p)$$
となるので，$p\in\mathbb{S}^{n-1}$が$f|\mathbb{S}^{n-1}$の臨界点ならば，$\lambda\in\mathbb{R}$であって
$$ \d{f}(p)=\lambda\d{g}(p) \quad\leadsto\quad \forall\,k\in\{1,\ldots,n\},\ \sum_{\ell=1}^{n} a_{k\ell}p_{\ell} = \lambda p_{k} \quad\leadsto\quad Ap = p\lambda$$
を満たすものが存在し，したがって
$$ f(p) = \langle p \mid Ap \rangle = \langle p \mid p\lambda \rangle = \langle p \mid p \rangle \lambda = \lambda$$
が成り立つ． - 逆に，$A$の固有値$\lambda\in\mathbb{R}$に属する固有ベクトル$p\in\mathbb{S}^{n-1}$に対して$\d{f}(p)=\lambda\d{g}(p)$が成り立つので，$p$は$f|\mathbb{S}^{n-1}$の臨界点である．
以上より，
$$
\mathrm{Crit}(f|\mathbb{S}^{n-1}) = \{p\in\mathbb{S}^{n-1} \mid \text{eigenvector of $A$}\}$$
であり，コンパクト集合$\mathbb{S}^{n-1}$上での$f$の最大値・最小値は
$$
\max_{p\in\mathbb{S}^{n-1}} f(p) = \max\sigma(A),\ \min_{p\in\mathbb{S}^{n-1}} f(p) = \min\sigma(A)$$
で与られる（ただし$\sigma(A) \coloneqq \{\lambda\in\mathbb{R} \mid \text{eigenvalue of A}\}$とおいた）．
