問題は, 神戸大数学科のウェブサイト の 令和 4 年度編入試(PDF-file) を参照してください。
$(1)\quad $与えられた$A$に対し
\begin{align*}
B=P^{-1}AP
\end{align*}
となる対角行列$B$と直交行列が存在すると仮定する。 このとき両辺の転置をとった
\begin{align*}
{}^{t}B={}^{t}(P^{-1}AP),
\end{align*}
つまり
\begin{align*}
B=P^{-1}{}^{t}AP, \quad(\because Pは直交行列で, Bは対角行列)
\end{align*}
が成り立つ。よって, $P^{-1}AP=P^{-1}{}^{t}AP$から
\begin{align*}
A={}^{t}A
\end{align*}
が成り立つ。また, 対称行列は直交行列で対角化できるから, 求める必要十分条件は$A={}^{t}A, $つまり
\begin{align*}
a=1.
\end{align*}
$(2)\quad $$a=1$とする。$A$の固有多項式は
\begin{align*}
|xE-A|&=
\begin{vmatrix}
x&-1&-2\\
-1&x&-2\\
-2&-2&x-3
\end{vmatrix}
=\{x^{2}(x-3)-4-4\}-(4x+4x+x-3)\\
&=x^{3}-3x^{2}-9x-5
=(x-5)(x+1)^{2}
\end{align*}
だから, 固有値は$5, -1$である。
\begin{align*}
(5E-A)
\begin{pmatrix}
-\dfrac{1}{\sqrt{6}}\\
\dfrac{1}{\sqrt{6}}\\
\dfrac{2}{\sqrt{6}}
\end{pmatrix}
=
0,
\end{align*}
そして
\begin{align*}
(-E-A)
\begin{pmatrix}
\dfrac{1}{\sqrt{2}}\\
\dfrac{1}{\sqrt{2}}\\
0
\end{pmatrix}
=0
, \quad
(-E-A)
\begin{pmatrix}
\dfrac{2}{\sqrt{5}}\\
0\\
-\dfrac{1}{\sqrt{5}}
\end{pmatrix}
=0.
\end{align*}
ゆえに3つの単位ベクトルを並べた直交行列
\begin{align*}
P=
\begin{pmatrix}
-\dfrac{1}{\sqrt{6}}&\dfrac{1}{\sqrt{2}}&\dfrac{2}{\sqrt{5}}\\
\dfrac{1}{\sqrt{6}}&\dfrac{1}{\sqrt{2}}&0\\
\dfrac{2}{\sqrt{6}}&0& -\dfrac{1}{\sqrt{5}}
\end{pmatrix}
\end{align*}
が得られる。そして
\begin{align*}
P^{-1}AP=
\begin{pmatrix}
5&0&0\\
0&-1&0\\
0&0&-1
\end{pmatrix}
\end{align*}
なので, この対角行列が$B$の1つである。
したがって, 求める$P, B$の組の1つは
\begin{align*}
P=\begin{pmatrix}
-\dfrac{1}{\sqrt{6}}&\dfrac{1}{\sqrt{2}}&\dfrac{2}{\sqrt{5}}\\
\dfrac{1}{\sqrt{6}}&\dfrac{1}{\sqrt{2}}&0\\
\dfrac{2}{\sqrt{6}}&0& -\dfrac{1}{\sqrt{5}}
\end{pmatrix}
, \quad B=
\begin{pmatrix}
5&0&0\\
0&-1&0\\
0&0&-1
\end{pmatrix}
.
\end{align*}