ここでは$\R^n$で定義された関数$f:\R^n \rightarrow \R$が対称行列$A$により
$$f(x) = \langle x, Ax \rangle$$
と表されているとき, 単位球の表面
$$S^{n-1} = \{ x = (x_1, \dots, x_n) \in R^n \mid x_1^2 + \cdots + x_n^2 = 1 \}$$
の上でとる極大・極小値を考える.
ある制約(ここでは球上)がついた関数の極大・極小値を求めるのに, Lagrangeの未定乗数法がある.
これに従うと, 極値点が満たすべき
$$\pd{f}{x_i} = \lambda \pd{g}{x_i} \quad (i = 1, \dots, n)$$
という$n$本の式を得る. まとめて書けば
$$\nabla f = \lambda \nabla g$$
とも書ける.
$$f(x) = \langle x, Ax \rangle = \sum_{1\leq i < j \leq n} 2 a_{ij} x_i x_j + \sum_{i=1}^n a_{ii} x_i^2$$
なので
$$\pd{f}{x_k} = \sum_{1 \leq i \leq n, i\neq k} 2 a_{ki} x_i + 2a_{kk}x_k = 2\sum_{1 \leq i \leq n} a_{ki}x_i$$
となる. 右辺は$Ax$の第$k$行目を2倍したものに等しい. すなわち
$$\nabla \langle x, Ax \rangle = 2Ax $$
である.
また満たすべき制約は$g(x) = x_1^2 + \cdots + x_n^2 - 1 = 0$であり
$$\pd{g}{x_k} = 2x_k$$
なので, $n$本の式は行列を用いて
$$Ax = \lambda x$$
と書けることがわかる. これを$\lambda$や$x$を解くということは$A$の固有値・固有空間を求めるということである.
つまり球上で2次形式の極値問題は固有値問題に帰着できる.
上の固有値問題を解けば極値の候補点は求まるが, そのときの$f$の値は$A$の固有値に一致する. なぜならば, そのような点において
$$f(x) = \langle x, Ax \rangle = \langle x, \lambda x \rangle = \lambda \langle x, x\rangle$$
である. $x$は単位球上なので$\langle x, x \rangle=1$であるため極値の候補は$A$の固有値$\lambda$である. 最大・最小の問題ならすでに答えは導くことができる.
最大でも最小でもない固有値が極値になり得るかどうかは, $A$を対角化することで調べることができる. $A$は対称行列なので直交行列すなわち回転行列によって対角化できるため, 変換後も単位球上で調べる点の微小な変化に対して$f$の値を調べればよい.