問題は, 神戸大数学科のウェブサイト の 令和 4 年度編入試(PDF-file) を参照してください。
$(1)\quad $$A^{m}=E$となる$m\in\mathbb{N}$が存在すると仮定する。このとき, $|A^{m}|=|E|=1>0.$ ゆえに$|A|\neq{0}$となり$A$は正則行列。
$(2)\quad $$A^{m}=O$となる$m\in\mathbb{N}$が存在すると仮定する。このとき, $|A^{m}|=|O|, $つまり, $|A|={0}$となり$A$は非正則行列。
$(3)\quad $$A^{m}=O$となる$m\in\mathbb{N}$が存在すると仮定する。以下$m$はそのような正の整数で最小のものとする。
\begin{align*}
Ex=Ax
\end{align*}
を満たす$x\in\mathbb{R}^{n}$は両辺$A^{m-1}$を掛けた
\begin{align*}
A^{m-1}x=A^{m}x,
\end{align*}
つまり
\begin{align*}
A^{m-1}x=0\quad (\because A^{m}=O)
\end{align*}
を満たさなければならない。そして$A^{m-1}\neq{0}$なので, $x=0$でなければならない。ゆえに$E-A$は正則。
\begin{align*}
E&=E^{m}-A^{m}=(E-A)(E+A+\cdots+A^{m-1})
\end{align*}
であるから
\begin{align*}
(E-A)^{-1}=\sum_{k=1}^{m}A^{k-1}.
\end{align*}