\begin{align*}
|X/G|=\dfrac{1}{|G|}\sum_{g\in{G}}|X^{g}|
\end{align*}
が成り立つ。
を証明する。証明を懇切丁寧に書いただけなので, 群論に一回も触れたことはない人は読むのが厳しいと思います。応用例などはググれば出てくると思うので, 各自調べてください。数え上げ問題にとっても有効な定理です。時間を見つけて, そこも書いたりしようと思います。
$G$を群, $X$を集合とする。写像$\varphi:G\times{X}\to{X}, (g, h)\mapsto{g\ast{x}}$が
(1) $\forall{x\in{X}}, 1_{G}\ast{x}=x$
(2) $\forall{g, h\in{G}}, \forall{x\in{X}}, (gh)\ast{x}=g\ast{(h\ast{x})}$
を満たすとき, $G$は$X$に作用するという。
以後, $G$は有限群で$X$は有限集合とし, さらに$G$は$X$に作用しているとします。
$x\in{X}$に対し, $\mathcal{O}(x)\subset{X}$を
\begin{align*}
\mathcal{O}(x):=\{g\ast{x}\mid g\in{G}\}
\end{align*}
で定め, これを$x$の軌道という。
$g\in{G}$とする。$X^{g}\subset{X}$を
\begin{align*}
X^{g}:=\{x\in{X}\mid g\ast{x}=x\}
\end{align*}
で定め, これを$g$による$X$の不動点全体の集合と呼ぶことにする。
$x\in{X}$に対し, $Stab(x)\subset{G}$を
\begin{align*}
Stab(x):=\{g\in{G}\mid g\ast{x}=x\}
\end{align*}
で定め, これを$x$の固定群という。
不動点全体の集合と固定群を混同しないように注意せよ。
\begin{align*}
Stab(x):=\{g\in{G}\mid g\ast{x}=x\}
\end{align*}
は$G$の部分群である。
結合法則は明らかだから, 演算で閉じていることと, 単位元と逆元をともにもつことを示せばよい。$g, h\in{Stab(x)}$とする。
\begin{align*}
(gh)\ast{x}&=g\ast(h\ast{x})\, (\because\, 群の作用の定義の(2))\\
&=g\ast{x}\, (\because\, 群の作用の定義の(1))\\
&=x\, (\because\, 群の作用の定義の(1))
\end{align*}
であるから, $Stab(x)$は演算で閉じている。そして
\begin{align*}
1_{G}\ast{x}=x(\because\, 群の作用の定義の(1))
\end{align*}
であるから, $1_{G}\in{Stab(x)}$である。
\begin{align*}
g\ast{x}=x
\end{align*}
なので
\begin{align*}
g^{-1}\ast(g\ast{x})=g^{-1}\ast{x},
\end{align*}
つまり
\begin{align*}
(g^{-1}g)\ast{x}=g^{-1}\ast{x}\, (\because\, 群の作用の定義の(2))
\end{align*}
で, $g^{-1}g=1_{g}$なので
\begin{align*}
1_{G}\ast{x}=g^{-1}\ast{x}
\end{align*}
である。すなわち
\begin{align*}
g^{-1}\ast{x}=x\, (\because\, 群の作用の定義の(1))
\end{align*}
である。よって, $g^{-1}\in{Stab(x)}$である。
以上から,
\begin{align*}
Stab(x):=\{g\in{G}\mid g\ast{x}=x\}
\end{align*}
は$G$の部分群である。
集合$X$に関係$\sim$を
\begin{align*}
x\sim{y}\iff \exists{g\in{G}}, y=g\ast{x}
\end{align*}
で定めると, $\sim$は同値関係である。もちろん, $x, y$は$X$の元である。
$x, y, z$を集合$X$の任意の元とする。$x\sim{x}$は, 群の作用の定義(1)$1\ast{x}=x$からすぐにわかる。$x\sim{y}$であるとき
\begin{align*}
\exists{g\in{G}}, y=g\ast{x}
\end{align*}
なので
\begin{align*}
\exists{g\in{G}}, g^{-1}\ast{y}=g^{-1}{\ast}(g\ast{x})
\end{align*}
群の作用の定義の(2)より$g^{-1}{\ast}(g\ast{x})=(g^{-1}g)\ast{x}$で, 当然$g^{-1}g=1_{G}$だから
\begin{align*}
\exists{g\in{G}}, g^{-1}\ast{y}=x
\end{align*}
である。よって
\begin{align*}
\exists{h\in{G}}, x=h\ast{y}
\end{align*}
なので, $y\sim{x}$である。$x\sim{y}$と$y\sim{z}$が成り立つとすると
\begin{align*}
\exists{g\in{G}}, y=g\ast{x}, かつ\exists{h\in{G}}, z=h\ast{y}
\end{align*}
なので
\begin{align*}
\exists{g, h\in{G}}, z=h\ast{(g\ast{x})}
\end{align*}
である。群の作用の定義(2)を用いると
\begin{align*}
\exists{g, h\in{G}}, z=(h\ast{g})\ast{x}
\end{align*}
なので
\begin{align*}
\exists{g^{\prime}\in{G}}, z=g^{\prime}\ast{x}
\end{align*}
が成り立つ。以上から, $X$上の関係$\sim$が, 同値関係であることが示された。
以降, $X$上の関係$\sim$は上で定義した同値関係とする。
各$x\in{X}$に対し, $C(x)$を
\begin{align*}
C(x):=\{y\in{X}\mid x\sim{y}\}
\end{align*}
で定め, $X/G$を
\begin{align*}
X/G:=\{C(x)\mid x\in{X}\}
\end{align*}
で定める。すなわち, $C(x)$とは, $x$の同値類で, $X/G$は$\sim$で定まる商集合である(剰余群ではないですよ)。
いよいよ本題
\begin{align*}
|X/G|=\dfrac{1}{|G|}\sum_{g\in{G}}|X^{g}|
\end{align*}
が成り立つ。
を示していこうと思います。そのために補題をいくつか示します。
\begin{align*}
x\sim{y}\iff \mathcal{O}(x)={\mathcal{O}(y)}
\end{align*}
が成り立つ。言い換えれば
\begin{align*}
C(x)=C(y)\iff \mathcal{O}(x)={\mathcal{O}(y)}
\end{align*}
である。
まず, 右向きの矢印が成り立つのを示そう。$x\sim{y}$とする。このとき
\begin{align*}
\exists{g\in{G}}, y=g\ast{x}
\end{align*}
だから
\begin{align*}
\mathcal{O}(x)\supset{\mathcal{O}(y)}
\end{align*}
である。そして, $x\sim{y}$なら, $y\sim{x}$であったから
\begin{align*}
\mathcal{O}(x)\subset{\mathcal{O}(y)}
\end{align*}
でもある。よって
\begin{align*}
\mathcal{O}(x)={\mathcal{O}(y)}
\end{align*}
が成り立つ。次に, 逆が成り立つことを示そう。$\mathcal{O}(x)=\mathcal{O}(y)$であるとする。$g\ast{x}\in{\mathcal{O}(x)}$
\begin{align*}
\exists h\in{G}, h\ast{y}=g\ast{x}
\end{align*}
だから
\begin{align*}
\exists h\in{G}, {y}=(h^{-1}g)\ast{x}
\end{align*}
よって, $x\sim{y}$である。以上から
\begin{align*}
x\sim{y}\iff \mathcal{O}(x)={\mathcal{O}(y)}
\end{align*}
が成り立つ。
\begin{align*}
\sum_{x\in{X}}\dfrac{1}{|\mathcal{O}(x)|}=|X/G|
\end{align*}
が成り立つ。
\begin{align*} \sum_{x\in{X}}\dfrac{1}{|\mathcal{O}(x)|}&=\left(\dfrac{1}{|\mathcal{O}(x)|}+\dfrac{1}{|\mathcal{O}(y)|}+\cdots+\dfrac{1}{|\mathcal{O}(z)|}\right)+\left(\dfrac{1}{|\mathcal{O}(x^{\prime})|}+\dfrac{1}{|\mathcal{O}(y^{\prime})|}+\cdots+\dfrac{1}{|\mathcal{O}(z^{\prime})|}\right)+\cdots+\left(\dfrac{1}{|\mathcal{O}(x^{\prime\prime})|}+\dfrac{1}{|\mathcal{O}(y^{\prime\prime})|}+\cdots+\dfrac{1}{|\mathcal{O}(z^{\prime\prime})|}\right)\\ &=\left(\dfrac{1}{|\mathcal{O}(x)|}+\dfrac{1}{|\mathcal{O}(x)|}+\cdots+\dfrac{1}{|\mathcal{O}(x)|}\right)+\left(\dfrac{1}{|\mathcal{O}(x^{\prime})|}+\dfrac{1}{|\mathcal{O}(x^{\prime})|}+\cdots+\dfrac{1}{|\mathcal{O}(x^{\prime})|}\right)+\cdots+\left(\dfrac{1}{|\mathcal{O}(x^{\prime\prime})|}+\dfrac{1}{|\mathcal{O}(x^{\prime\prime})|}+\cdots+\dfrac{1}{|\mathcal{O}(x^{\prime\prime})|}\right)\\ &=\dfrac{1}{|\mathcal{O}(x)|}\cdot|\mathcal{O}(x)|+\dfrac{1}{|\mathcal{O}(x^{\prime})|}\cdot|\mathcal{O}(x^{\prime})|+\cdots+\dfrac{1}{|\mathcal{O}(x^{\prime\prime})|}\cdot|\mathcal{O}(x^{\prime\prime})|\\ &=1+1\cdots+1\\ &=|X/G| \end{align*}
1段目の右辺は, $x, y, \cdots, z{\in{C(x)}}, x^{\prime}, y^{\prime}, \cdots, z^{\prime}{\in{C(x^{\prime})}},\cdots, x^{\prime\prime}, y^{\prime\prime}, \cdots, z^{\prime\prime}{\in{C(x^{\prime\prime})}} $で別々で足し算しようということである。そうすると, 補題5を用いると2段目の右辺のようにかける。そして, また補題5を用いると$|C(x)|=|\mathcal{O}(x)|$であるので2段目の$\dfrac{1}{|\mathcal{O}(x)|}$が$|\mathcal{O}(x)|$個あるとわかるので3段目のように書ける。4段目の1は, $|X/G|$個ある。なぜなら, 4段目はこれは異なる軌道は何種類ありますかということを聞いているのだが, またまた補題5から異なる同値類は何種類ありますかという問いに変わるからだ。それは当然$|X/G|$個である。
\begin{align*}
\sum_{g\in{G}}|X^{g}|=\sum_{x\in{G}}|Stab(x)|
\end{align*}
が成り立つ。
$g$を$G$の任意の元として, $Y_{g}\subset{G\times{X}}$を
\begin{align*}
Y_{g}:=\{(g, x)\in{G\times{X}}\mid g\ast{x}=x\},
\end{align*}
そして, $x$を集合$X$の元として$Y(x)\subset{G\times{X}}$を
\begin{align*}
Y(x):=\{(g, x)\in{G\times{X}}\mid g\in{G}, g\ast{x}=x\}
\end{align*}
と定めると, 明らかに
\begin{align*}
\sum_{g\in{G}}|Y_{g}|=\sum_{x\in{X}}|Y(x)|
\end{align*}
である($g, x$のどちらを固定するかの違い。受験数学の格子点の数え上げのときに用いた考え方に近い)。そして, 当然
\begin{align*}
\sum_{g\in{G}}|Y_{g}|=\sum_{g\in{G}}|X^{g}|
\end{align*}
である。なぜなら, $X^{g}\ni{x}\mapsto{(g, x)}\in{Y_{g}}$が全単射だからである。そして
\begin{align*}
\sum_{x\in{G}}|Y(x)|=\sum_{x\in{G}}|Stab(x)|
\end{align*}
である。なぜなら, $Stab(x)\ni{g}\mapsto{(g, x)}\in{Y(x)}$が全単射だからである。したがって
\begin{align*}
\sum_{g\in{G}}|X^{g}|=\sum_{x\in{G}}|Stab(x)|
\end{align*}
を得る。
\begin{align*}
|Stab(x)|=\dfrac{|G|}{|\mathcal{O}(x)|}
\end{align*}
が成り立つ。
ラグランジュの定理から
\begin{align*}
|Stab(x)|=\dfrac{|G|}{|G/Stab(x)|}
\end{align*}
なので
\begin{align*}
|G/Stab(x)|=|\mathcal{O}(x)|
\end{align*}
が成り立つことを示せばよい。そのために$f:G/Stab(x)\to\mathcal{O}(x)$
\begin{align*}
f(gStab(x))=g(x)\, (gStab(x)\in{G/Stab(x)})
\end{align*}
がwell-definedでしかも全単射であることを示そう。
\begin{align*}
gStab(x)=hStab(x)&\iff g^{-1}h\in{Stab(x)}\\
&\iff (g^{-1}h)\ast{x}=x\, (\because\, Stab(x)の定義)\\
&\iff g\ast{x}=h\ast{x}\, (\because\, 群の作用の定義の
(2))
\end{align*}
なので, $f$は写像としてwell-definedで, 単射であることが示された。全射は自明である。なぜなら任意の$\mathcal{O}(x)$の元$g\ast{x}$に対し, $G/Stab(x)$の元$gStab(x)$がとれるからである。
注意ではなく補足だが, $f$がwell-definedと単射であることを示した部分は, 右向きの矢印がwell-definedで, 逆が単射の証明である。
さあ, バーンサイドの補題を示しましょう。
\begin{align*}
\sum_{x\in{X}}|Stab(x)|&=\sum_{x\in{X}}\dfrac{|G|}{|\mathcal{O}(x)|}\, (\because\, 補題8)\\
&=|G|\sum_{x\in{X}}\dfrac{1}{|\mathcal{O}(x)|}\\
&=|G||X/G|\, (\because\, 補題5)
\end{align*}
で
\begin{align*}
\sum_{g\in{G}}|X^{g}|=\sum_{x\in{G}}|Stab(x)|\, (\because\, 補題7)
\end{align*}
なので
\begin{align*}
\sum_{x\in{G}}|X^{g}|=|G||X/G|,
\end{align*}
つまり
\begin{align*}
|X/G|=\dfrac{1}{|G|}\sum_{g\in{G}}|X^{g}|
\end{align*}
を得る。
いやー大変ですね笑笑