この記事では縮約記法を使います。
$a$という行列に微小な量を成分に持つ行列$\delta a$を足して$a+\delta a$という行列に変えるとき、$\ln \det a$という値がどう変わるかを考えます。
\begin{align}
\delta(\ln\det a) &= \ln\det(a+\delta a)-\ln\det a\\
&=\ln\det(1+a^{-1}\delta a)
\end{align}
と変形できます。ここで、$\delta a_{ij}$の$2$次以上の項を無視することにすると、行列式で残るのは対角成分の積を取った項だけ、その中でも$1+\operatorname{tr}(a^{-1}\delta a)$までが$\delta a_{ij}$の$1$次の項として残ります。
\begin{align}
\delta(\ln\det a)&\simeq \ln[1+\mathrm{tr}\ (a^{-1}\delta a)]\quad (\text{$\delta a_{ij}$ の$2$次以上は無視})\\
&\simeq \mathrm{tr}\ a^{-1}\delta a\quad (\text{$\delta a_{ij}$ の$2$次以上は無視})\\
&= (a^{-1})^{ji}\delta a_{ij}
\end{align}
$\ln \det a$という値がどう変わるかは分かりました。ところで$\ln$の微分を考えると
$$
\delta(\ln\det a)=\dfrac{\delta\det a}{\det a}
$$
となることから
\begin{align}
\delta \det a &= (\det a)(a^{-1})^{ji}\delta a_{ij}\\
\therefore \dfrac{\partial\det a}{\partial a_{ij}}&=(\det a)(a^{-1})^{ji}
\end{align}
こうして成分による行列式の$1$階偏微分が求まります。
$2$次正方行列で確かめてみましょう。
\begin{align}
A&=\begin{bmatrix}a & b \\ c & d\end{bmatrix},\quad A^{-1}= \dfrac{1}{ad-bc}\begin{bmatrix}d & -b \\ -c & a\end{bmatrix}\\
d&=\dfrac{\partial \det A}{\partial a}=(ad-bc)\cdot \dfrac{d}{ad-bc}=d
\end{align}
正しそうです。
一般化の準備として逆行列の成分の変分も計算しておきます。
\begin{align}
(a^{-1})^{ij}a_{jk}&=\delta^i_k\quad(\text{変分の$\delta$とKroneckerの$\delta$がややこしい})\\
\therefore \delta(a^{-1})^{ij}a_{jk}&=-(a^{-1})^{il}\delta a_{lk}\\
\therefore \delta(a^{-1})^{ij}&=-(a^{-1})^{il}\delta a_{lk}(a^{-1})^{kj}\quad(\text{$j$を$m$に書き換え、両辺に$(a^{-1})^{kj}をかける$})
\end{align}
逆行列の成分の、元の行列の成分による変分が求まりました。
数学的帰納法を使います。成分による行列式の$n-1$階微分が
\begin{align}
\dfrac{\partial^{n-1}\det a}{\partial a_{i_1j_1}\cdots\partial a_{i_{n-1}j_{n-1}}}&=\det a\sum_{\sigma\in\mathfrak{S}_{n-1}}\operatorname{sgn}\sigma (a^{-1})^{j_1i_{\sigma(1)}}\cdots (a^{-1})^{j_{n-1}i_{\sigma(n-1)}}\\
&=\det a\sum_{\sigma\in\mathfrak{S}_{n-1}}\operatorname{sgn}\sigma \prod_{\mu=1}^{n-1}(a^{-1})^{j_\mu i_{\sigma(\mu)}}
\end{align}
と書かれているとします。これは$n-1=1$とすれば上で求めた、成分による行列式の$1$階偏微分に一致しますね。このとき$n-1$階微分の変分は
\begin{align}
\delta\left[\dfrac{\partial^{n-1}\det a}{\partial a_{i_1j_1}\cdots\partial a_{i_{n-1}j_{n-1}}}\right]&=(\det a)(a^{-1})^{j_ni_n}\delta a_{i_nj_n}\cdot\sum_{\sigma\in\mathfrak{S}_{n-1}}\operatorname{sgn}\sigma\prod_{\mu=1}^{n-1}(a^{-1})^{j_\mu i_{\sigma(\mu)}}\\
&\quad+\sum_{\nu=1}^{n-1}\det a\sum_{\sigma\in\mathfrak{S}_{n-1}}\operatorname{sgn}\sigma\prod_{\mu\neq\nu}(a^{-1})^{j_\mu i_{\sigma(\mu)}}\cdot (-1)(a^{-1})^{j_\nu i_n}\delta a_{i_nj_n}(a^{-1})^{j_ni_{\sigma(\nu)}}
\end{align}
ここで、
$$
\begin{pmatrix}
1 & \cdots & n-1 & n\\
\sigma(1) & \cdots & \sigma(n-1) & n
\end{pmatrix}
$$
という置換の符号は$\operatorname{sgn}\sigma$に等しく、
$$
\begin{pmatrix}
1 & \cdots & \nu & \cdots & n-1 & n\\
\sigma(1) & \cdots & n & \cdots & \sigma(n-1) & \sigma(\nu)
\end{pmatrix}
$$
という置換の符号は$-\operatorname{sgn}\sigma$に等しいので、結局
\begin{align}
\delta\left[\dfrac{\partial^{n-1}\det a}{\partial a_{i_1j_1}\cdots\partial a_{i_{n-1}j_{n-1}}}\right]&=\det a\sum_{\sigma\in\mathfrak{S}_{n}}\operatorname{sgn}\sigma \prod_{\mu=1}^{n}(a^{-1})^{j_\mu i_{\sigma(\mu)}}\delta a_{i_nj_n}\\
\therefore \dfrac{\partial^{n}\det a}{\partial a_{i_1j_1}\cdots\partial a_{i_{n}j_{n}}}&=\det a\sum_{\sigma\in\mathfrak{S}_{n}}\operatorname{sgn}\sigma \prod_{\mu=1}^{n}(a^{-1})^{j_\mu i_{\sigma(\mu)}}\\
&=\det a\sum_{\sigma\in\mathfrak{S}_{n}}\operatorname{sgn}\sigma (a^{-1})^{j_1i_{\sigma(1)}}\cdots (a^{-1})^{j_{n}i_{\sigma(n)}}
\end{align}
となり、数学的帰納法から成分による行列式の$n$階微分が求まりました。
$2$階微分の場合を$3$次正方行列で確かめてみましょう。
\begin{gather}
A=\begin{bmatrix}a & b & c \\ d & e & f \\ g & h & i\end{bmatrix},\quad \det A=aei+bfg+cdh-afh-bdi-ceg,\quad\\ A^{-1}=\dfrac{1}{\det A}\begin{bmatrix}ei - fh & ch - bi & bf - ce \\ fg - di & ai - cg & cd - af \\ dh - eg & bg - ah & ae - bd\end{bmatrix}
\end{gather}
\begin{align}
-h &= \dfrac{\partial\det A}{\partial a\partial f}=\dfrac{\partial\det A}{\partial A_{11}\partial A_{23}}=\det A\left((A^{-1})^{11}(A^{-1})^{32}-(A^{-1})^{12}(A^{-1})^{31}\right)\\
&=\dfrac{(ei-fh)(bg-ah)-(ch-bi)(dh-eg)}{\det A}\\
&=\dfrac{(-aei-fbg+ceg+bid)h+(af-cd)h^2}{aei+bfg+cdh-afh-bdi-ceg}=-h
\end{align}
となって成り立ちます。$begi$の項が打ち消されて$h$の係数がちょうど$-\det A$になるとはよくできていますね。