基底を用いない特異値分解
特異値分解は行列による基底を用いた形で述べられることが多く，線形代数的な構造がわかりにくくなっています．この記事では，特異空間の概念を導入し，特異値分解を各特異空間間の等長同型の特異値倍として定式化します．
以下，ベクトル空間はすべて$\mathbb{C}$上の有限次元ベクトル空間であるとします．一般的でない用語や表記を用います．
準備
$V$を計量ベクトル空間，$W$を$V$の部分空間とする．任意の$v \in V$は$w \in W, w' \in W^\perp$を用いて$v = w+w'$と一意に書ける．このとき，$v$を$w$に対応させる線形写像$V \to W$を$V$から$W$への直交射影といい，$P_W$と書く．
$V$を計量ベクトル空間とする．
- $V$の部分空間$W_1, W_2$について，任意の$w_1 \in W_1, w_2 \in W_2$に対し$w_1 \perp w_2$が成り立つとき，部分空間$W_1,W_2$は直交するといい，$W_1 \perp W_2$と書く．
- $\Lambda$を有限集合とする．$\Lambda$の元で添字付けられた$V$の部分空間の族$(W_\lambda)_{\lambda\in\Lambda}$について，任意の$\lambda,\lambda'\in\Lambda, \lambda \neq \lambda'$に対し$W_\lambda \perp W_{\lambda'}$が成り立つとき，部分空間の族$(W_\lambda)_{\lambda\in\Lambda}$は互いに直交するという．
- $\Lambda$を有限集合とする．$\Lambda$の元で添字付けられた$V$の部分空間の族$(W_\lambda)_{\lambda\in\Lambda}$が互いに直交し，かつ$V = \bigoplus_{\lambda\in\Lambda}W_\lambda$であるとき，$V = \bigoplus_{\lambda\in\Lambda}^\perp W_\lambda$と書く．
$V$をベクトル空間，$T \colon V \to V$を線形写像とする．
- $T$の固有値の集合を$\Lambda(T)$と書く．
- $\lambda \in \mathbb{C}$に対し，$\operatorname{Ker}(\lambda\operatorname{id}_V-T)$を$E(\lambda,T)$と書く．
$\lambda\in\Lambda(T)$の場合は，$E(\lambda,T)$は固有値$\lambda$の固有空間となる．以下では$\lambda\notin\Lambda(T)$の場合にも$E(\lambda,T)$という記号を用いる．
基本部分空間
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像とする．
- $W$の部分空間$(\operatorname{Im}T)^\perp$を$T$の余核といい，$\operatorname{Coker}T$と表す．
- $V$の部分空間$(\operatorname{Ker}T)^\perp$を$T$の余像といい，$\operatorname{Coim}T$と表す．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像とする．このとき以下が成り立つ．
- $\operatorname{Coker}T = \operatorname{Ker}T^*$．
- $\operatorname{Coim}T = \operatorname{Im}T^*$．
- 任意の$w\in\operatorname{Coker}T$をとる．任意の$v\in V$に対し，$Tv \in \operatorname{Im}T, w\in(\operatorname{Im}T)^\perp$より，$0 = (Tv) \cdot w = v \cdot (T^*w)$．よって$T^*w \in V^\perp = \{0\}$であるから，$w\in\operatorname{Ker}T^*$．
次に，任意の$w\in\operatorname{Ker}T^*$をとる．任意の$\operatorname{Im}T$の元はある$v\in V$により$Tv$と書ける．このとき$Tv \cdot w = v \cdot (T^*w) = 0$である．よって$w\in\operatorname{Coker}T$． - $\operatorname{Coim}T = (\operatorname{Ker}T)^\perp = (\operatorname{Coker}T^*)^\perp = \operatorname{Im}T^*$．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像とする．このとき以下が成り立つ．
- $T|_{\operatorname{Coim} T} \colon \operatorname{Coim} T \to \operatorname{Im} T$は同型写像である．
- $T^*|_{\operatorname{Im}T} \colon \operatorname{Im} T \to \operatorname{Coim} T$は同型写像である．
- 任意の$w\in\operatorname{Im}T$をとると，$Tv=w$なる$v\in V$が存在する．このとき$TP_{\operatorname{Coim}T}v=w$であるから，$T|_{\operatorname{Coim}T}P_{\operatorname{Coim}T}v=w$．よって$T|_{\operatorname{Coim} T}$は全射である．次に，$v \in \operatorname{Coim}T$が$T|_{\operatorname{Coim} T}v=0$つまり$Tv=0$を満たすとすると，$v\in\operatorname{Ker}T$であるから，$v \in \operatorname{Coim}T \cap \operatorname{Ker}T = \{0\}$．よって$T|_{\operatorname{Coim} T}$は単射である．
- は 1. から直ちに従う．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像とする．このとき以下が成り立つ．
- $T^*T|_{\operatorname{Coim} T} \colon \operatorname{Coim} T \to \operatorname{Coim} T$は同型写像である．
- $TT^*|_{\operatorname{Im}T} \colon \operatorname{Im} T \to \operatorname{Im} T$は同型写像である．
同型写像の合成は同型写像であることから従う．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像とする．このとき以下が成り立つ．
- $\operatorname{Ker} T^*T = \operatorname{Ker} T$．
- $\operatorname{Coker} TT^* = \operatorname{Coker} T$．
- $\operatorname{Ker} T^*T = (\operatorname{Coim} T^*T)^\perp = (\operatorname{Im} T^*T)^\perp = (\operatorname{Coim} T)^\perp = \operatorname{Ker}T$．
- $\operatorname{Coker} TT^* = (\operatorname{Im} TT^*)^\perp = (\operatorname{Im} T)^\perp = \operatorname{Coker}T$．
特異値
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像，$\sigma \in \mathbb{R}_{>0}$とする．
- $V$の部分空間$E(\sigma^2,T^*T) = \operatorname{Ker}(T^*T-\sigma^2\operatorname{id}_V)$を$\sigma$に対応する右特異空間といい，$S_R(\sigma,T)$と書く．
- $W$の部分空間$E(\sigma^2,TT^*) = \operatorname{Ker}(TT^*-\sigma^2\operatorname{id}_W)$を$\sigma$に対応する左特異空間といい，$S_L(\sigma,T)$と書く．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像，$\sigma \in \mathbb{R}_{>0}$とする．
$T_\sigma \colon S_R(\sigma,T) \to S_L(\sigma,T)$を$T_\sigma v = \frac{1}{\sigma}Tv$と定めると，$T_\sigma$は well-defined で等長同型写像である．
$T_\sigma$の well-definedness を示す．
$v \in S_R(\sigma,T)$とする．$TT^*T_\sigma v = \frac{1}{\sigma}TT^*Tv = \frac{1}{\sigma}T\left(\sigma^2v\right) = \sigma^2\frac{1}{\sigma}Tv = \sigma^2T_\sigma v$より，たしかに$T_\sigma v \in S_L(\sigma,T)$である．
$T_\sigma$が全単射であることを示す．
$S_R(\sigma,T^*)=S_L(\sigma,T), S_L(\sigma,T^*)=S_R(\sigma,T)$に注意すると，$T^*_\sigma \colon S_L(\sigma,T) \to S_R(\sigma,T), w \mapsto \frac{1}{\sigma}T^*w$は well-defined である．
$v \in S_R(\sigma,T)$に対し，$T^*_\sigma T_\sigma v = \frac{1}{\sigma^2}T^*Tv = v$より，$T^*_\sigma T_\sigma = \operatorname{id}_{S_R(\sigma,T)}$．同様に$T_\sigma T_\sigma^* = \mathrm{id}_{S_L(\sigma,T)}$であるから，$T_\sigma$は全単射である．
$T_\sigma$が等長写像であることを示す．
$v,v'\in S_R(\sigma,T)$をとると，$(T_\sigma v) \cdot (T_\sigma v') = \frac{1}{\sigma^2}(Tv) \cdot (Tv') = \frac{1}{\sigma^2}v \cdot (T^*Tv') = \frac{1}{\sigma^2}v \cdot (\sigma^2v') = v \cdot v'$．よって$T_\sigma$は等長写像である．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像，$\sigma \in \mathbb{R}_{>0}$とする．このとき，$S_R(\sigma,T) \neq \{0\} \iff S_L(\sigma,T) \neq \{0\}$．
$S_R(\sigma,T) \cong S_L(\sigma,T)$であることから従う．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像，$\sigma \in \mathbb{R}_{>0}$とする．$S_R(\sigma,T) \neq \{0\}$のとき，$\sigma$は$T$の特異値であるという．系 2 よりこれは$S_L(\sigma,T) \neq \{0\}$と同値である．
$T$の特異値の集合を$\Sigma(T)$と表す．
一般的な定義では，$T^*T$が単射でないとき (すなわち$T$が単射でないとき) $0$を$T$の特異値とみなす．特異値分解において特異値$0$の存在により例外が生じるのを避けるため，ここでは一般的な定義とは異なり，正の特異値のみを考える．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像とする．$\Sigma(T)=\Sigma(T^*)$である．
系 2 より，$\sigma \in \Sigma(T) \iff S_R(\sigma,T) \neq \{0\} \iff S_L(\sigma,T) \neq \{0\} \iff S_R(\sigma,T^*) \neq \{0\} \iff \sigma \in \Sigma(T^*)$
特異値分解
自己随伴作用素について，以下が有名です．証明は省略します．
$V$を計量ベクトル空間，$T \colon V \to V$を線形写像とする．$T$が自己随伴作用素ならば，$\Lambda(T) \subseteq \mathbb{R}$であり，$V = \bigoplus^\perp_{\lambda\in\Lambda(T)}E(\lambda,T)$である．
これを用いて，線形写像の特異値分解を与えます．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像とする．このとき$T^*T$は自己随伴作用素であり，$\Lambda(T^*T) \subseteq \mathbb{R}_{\geq 0}$．
$(T^*T)^* = T^*(T^*)^* = T^*T$であるから，$T^*T$は自己随伴作用素である．よって，$\Lambda(T^*T) \subseteq \mathbb{R}$である．
任意の$\lambda\in\Lambda(T^*T)$をとり，固有値$\lambda$の固有ベクトル$v \in V$をとる．$\lambda\|v\|^2 = (\lambda v) \cdot v = (T^*Tv) \cdot v = (Tv) \cdot (Tv) = \|Tv\|^2 \geq 0$であるから，$\lambda \geq 0$．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像とする．このとき以下が成り立つ．
- $\operatorname{Coim}T = \bigoplus^\perp_{\sigma\in\Sigma(T)} S_R(\sigma,T)$．
- $\operatorname{Im} T = \bigoplus^\perp_{\sigma\in\Sigma(T)} S_L(\sigma,T)$．
- 命題 3，命題 6，補題 7 より，
\begin{align} V &= \sideset{}{^\perp}\bigoplus_{\lambda\in\Lambda(T^*T)} E(\lambda,T^*T) \\ &= \left(\sideset{}{^\perp}\bigoplus_{\lambda\in\Lambda(T^*T) \setminus \{0\}} E(\lambda,T^*T)\right) \oplus^\perp E(0,T^*T) \\ &= \left(\sideset{}{^\perp}\bigoplus_{\sigma \in \mathbb{R}_{>0}, \sigma^2 \in \Lambda(T^*T)} E(\sigma^2,T^*T)\right) \oplus^\perp (\operatorname{Ker}(T^*T)) \\ &= \left(\sideset{}{^\perp}\bigoplus_{\sigma \in \Sigma(T)}S_R(\sigma,T)\right) \oplus^\perp (\operatorname{Ker} T) \end{align}
であるから，$\operatorname{Coim}T = (\operatorname{Ker}T)^\perp = \bigoplus^\perp_{\sigma\in\Sigma(T)} S_R(\sigma,T)$． - $\operatorname{Im} T = \operatorname{Coim} T^* = \bigoplus^\perp_{\sigma\in\Sigma(T^*)}S_R(\sigma,T^*) = \bigoplus^\perp_{\sigma\in\Sigma(T)}S_L(\sigma,T)$．
$V,W$を計量ベクトル空間，$T \colon V \to W$を線形写像とする．このとき
$$
T = \sum_{\sigma \in \Sigma(T)} \sigma T_\sigma P_{S_R(\sigma,T)}
$$
が成り立つ．
$v \in V$をとる．$Tv = TP_{\operatorname{Coim} T}v$である．$\operatorname{Coim} T = \bigoplus^\perp_{\sigma\in\Sigma(T)}S_R(\sigma,T)$であるから，$P_{\operatorname{Coim} T} = \sum_{\sigma\in\Sigma(T)}P_{S_R(\sigma,T)}$．よって，$Tv = \sum_{\sigma\in\Sigma(T)} TP_{S_R(\sigma,T)}v = \sum_{\sigma\in\Sigma(T)}\sigma T_\sigma P_{S_R(\sigma,T)}v$．
以上の内容を自然言語でまとめると，以下のようになります．
- $\operatorname{Coim}T, \operatorname{Im}T$はそれぞれ右特異空間・左特異空間の直交する直和に分解される．
- 各$\sigma$に対し，右特異空間と左特異空間は同型である．
- $T$を右特異空間に制限したときの像は対応する左特異空間であり，その写像はノルムを$\sigma$倍にする．
$V,W$に正規直交基底が定められているとき，それを右特異空間・左特異空間の正規直交基底を並べたものに基底変換する行列を書き下すと，通常の行列の特異値分解が得られます．
応用: 極分解
$V$上の線形変換に対し，右特異空間から左特異空間へのノルムを$\sigma$倍する写像を考える代わりに，最初に右特異空間の中で$\sigma$倍し，その次に等長写像を施すと考えると，極分解が得られます．
$V$を計量ベクトル空間，$T \colon V \to V$を線形写像とする．$V$上の等長同型写像$U$と$V$上の半正定値作用素$P$であって$T=UP$となるものが存在する．
$\operatorname{Coim}T \cong \operatorname{Im}T$より，$\operatorname{dim}\operatorname{Ker}T = \operatorname{dim}\operatorname{Coker}T$であるから，等長同型$\operatorname{Ker}T \to \operatorname{Coker}T$が存在する．そのうち$1$つを任意に取りそれを$U_0$とおく．
$V = \left(\oplus^\perp_{\sigma\in\Sigma(T)}S_R(\sigma,T)\right) \oplus^\perp (\operatorname{Ker} T)$に注意する．$U,P$をそれぞれ$S_R(\sigma,T), \operatorname{Ker} T$上で以下のように定義し，直和の普遍性により$V$全体に拡張する．
- $Uv = T_\sigma v \, (v \in S_R(\sigma,T))$
- $Uv = U_0v \, (v \in \operatorname{Ker}T)$
- $Pv = \sigma v \, (v \in S_R(\sigma,T))$
- $Pv = 0 \, (v \in \operatorname{Ker}T)$
$P$は明らかに半正定値作用素である．$V = \left(\oplus^\perp_{\sigma\in\Sigma(T)}S_L(\sigma,T)\right) \oplus^\perp (\operatorname{Coker} T)$で$T_\sigma, U_0$は等長同型写像であるから，$U$も等長同型写像である．また，$S_R(\sigma,T),\operatorname{Ker}T$上で$T = UP$が成り立つため，直和の普遍性により$V$全体で$T=UP$が成り立つ．
この記事を高評価した人
この記事に送られたバッジ
投稿者
