基底を用いない特異値分解

388

特異値分解は行列による基底を用いた形で述べられることが多く，線形代数的な構造がわかりにくくなっています．この記事では，特異空間の概念を導入し，特異値分解を各特異空間間の等長同型の特異値倍として定式化します．

以下，ベクトル空間はすべて $C$ 上の有限次元ベクトル空間であるとします．一般的でない用語や表記を用います．

準備

直交射影

$V$ を計量ベクトル空間， $W$ を $V$ の部分空間とする．任意の $v \in V$ は $w \in W, w^{'} \in W^{⊥}$ を用いて $v = w + w^{'}$ と一意に書ける．このとき， $v$ を $w$ に対応させる線形写像 $V \to W$ を $V$ から $W$ への直交射影といい， $P_{W}$ と書く．

部分空間の直交

$V$ を計量ベクトル空間とする．

$V$ の部分空間 $W_{1}, W_{2}$ について，任意の $w_{1} \in W_{1}, w_{2} \in W_{2}$ に対し $w_{1} ⊥ w_{2}$ が成り立つとき，部分空間 $W_{1}, W_{2}$ は直交するといい， $W_{1} ⊥ W_{2}$ と書く．
$Λ$ を有限集合とする． $Λ$ の元で添字付けられた $V$ の部分空間の族 $(W_{λ})_{λ \in Λ}$ について，任意の $λ, λ^{'} \in Λ, λ \neq λ^{'}$ に対し $W_{λ} ⊥ W_{λ^{'}}$ が成り立つとき，部分空間の族 $(W_{λ})_{λ \in Λ}$ は互いに直交するという．
$Λ$ を有限集合とする． $Λ$ の元で添字付けられた $V$ の部分空間の族 $(W_{λ})_{λ \in Λ}$ が互いに直交し，かつ $V = ⨁_{λ \in Λ} W_{λ}$ であるとき， $V = ⨁_{λ \in Λ}^{⊥} W_{λ}$ と書く．

固有値，固有空間

$V$ をベクトル空間， $T : V \to V$ を線形写像とする．

$T$ の固有値の集合を $Λ (T)$ と書く．
$λ \in C$ に対し， $Ker (λ {id}_{V} - T)$ を $E (λ, T)$ と書く．

$λ \in Λ (T)$ の場合は， $E (λ, T)$ は固有値 $λ$ の固有空間となる．以下では $λ \notin Λ (T)$ の場合にも $E (λ, T)$ という記号を用いる．

基本部分空間

余核・余像

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像とする．

$W$ の部分空間 $(Im T)^{⊥}$ を $T$ の余核といい， $Coker T$ と表す．
$V$ の部分空間 $(Ker T)^{⊥}$ を $T$ の余像といい， $Coim T$ と表す．

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像とする．このとき以下が成り立つ．

$Coker T = Ker T^{*}$ ．
$Coim T = Im T^{*}$ ．

任意の $w \in Coker T$ をとる．任意の $v \in V$ に対し， $T v \in Im T, w \in (Im T)^{⊥}$ より， $0 = (T v) \cdot w = v \cdot (T^{*} w)$ ．よって $T^{*} w \in V^{⊥} = {0}$ であるから， $w \in Ker T^{*}$ ．
次に，任意の $w \in Ker T^{*}$ をとる．任意の $Im T$ の元はある $v \in V$ により $T v$ と書ける．このとき $T v \cdot w = v \cdot (T^{*} w) = 0$ である．よって $w \in Coker T$ ．
$Coim T = (Ker T)^{⊥} = (Coker T^{*})^{⊥} = Im T^{*}$ ．

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像とする．このとき以下が成り立つ．

$T |_{Coim T} : Coim T \to Im T$ は同型写像である．
$T^{*} |_{Im T} : Im T \to Coim T$ は同型写像である．

任意の $w \in Im T$ をとると， $T v = w$ なる $v \in V$ が存在する．このとき $T P_{Coim T} v = w$ であるから， $T |_{Coim T} P_{Coim T} v = w$ ．よって $T |_{Coim T}$ は全射である．次に， $v \in Coim T$ が $T |_{Coim T} v = 0$ つまり $T v = 0$ を満たすとすると， $v \in Ker T$ であるから， $v \in Coim T \cap Ker T = {0}$ ．よって $T |_{Coim T}$ は単射である．
は 1. から直ちに従う．

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像とする．このとき以下が成り立つ．

$T^{*} T |_{Coim T} : Coim T \to Coim T$ は同型写像である．
$T T^{*} |_{Im T} : Im T \to Im T$ は同型写像である．

同型写像の合成は同型写像であることから従う．

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像とする．このとき以下が成り立つ．

$Ker T^{*} T = Ker T$ ．
$Coker T T^{*} = Coker T$ ．

$Ker T^{*} T = (Coim T^{*} T)^{⊥} = (Im T^{*} T)^{⊥} = (Coim T)^{⊥} = Ker T$ ．
$Coker T T^{*} = (Im T T^{*})^{⊥} = (Im T)^{⊥} = Coker T$ ．

特異値

左特異空間，右特異空間

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像， $σ \in R_{> 0}$ とする．

$V$ の部分空間 $E (σ^{2}, T^{*} T) = Ker (T^{*} T - σ^{2} {id}_{V})$ を $σ$ に対応する左特異空間といい， $S_{L} (σ, T)$ と書く．
$W$ の部分空間 $E (σ^{2}, T T^{*}) = Ker (T T^{*} - σ^{2} {id}_{W})$ を $σ$ に対応する右特異空間といい， $S_{R} (σ, T)$ と書く．

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像， $σ \in R_{> 0}$ とする．

$T_{σ} : S_{L} (σ, T) \to S_{R} (σ, T)$ を $T_{σ} v = \frac{1}{σ} T v$ と定めると， $T_{σ}$ は well-defined で等長同型写像である．

$T_{σ}$ の well-definedness を示す．

$v \in S_{L} (σ, T)$ とする． $T T^{*} T_{σ} v = \frac{1}{σ} T T^{*} T v = \frac{1}{σ} T (σ^{2} v) = σ^{2} \frac{1}{σ} T v = σ^{2} T_{σ} v$ より，たしかに $T_{σ} v \in S_{R} (σ, T)$ である．

$T_{σ}$ が全単射であることを示す．

$S_{L} (σ, T^{*}) = S_{R} (σ, T), S_{R} (σ, T^{*}) = S_{L} (σ, T)$ に注意すると， $T_{σ}^{*} : S_{R} (σ, T) \to S_{L} (σ, T), w \mapsto \frac{1}{σ} T^{*} w$ は well-defined である．
$v \in S_{L} (σ, T)$ に対し， $T_{σ}^{*} T_{σ} v = \frac{1}{σ^{2}} T^{*} T v = v$ より， $T_{σ}^{*} T_{σ} = {id}_{S_{L} (σ, T)}$ ．同様に $T_{σ} T_{σ}^{*} = {id}_{S_{R} (σ, T)}$ であるから， $T_{σ}$ は全単射である．

$T_{σ}$ が等長写像であることを示す．

$v, v^{'} \in S_{L} (σ, T)$ をとると， $(T_{σ} v) \cdot (T_{σ} v^{'}) = \frac{1}{σ^{2}} (T v) \cdot (T v^{'}) = \frac{1}{σ^{2}} v \cdot (T^{*} T v^{'}) = \frac{1}{σ^{2}} v \cdot (σ^{2} v^{'}) = v \cdot v^{'}$ ．よって $T_{σ}$ は等長写像である．

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像， $σ \in R_{> 0}$ とする．このとき， $S_{L} (σ, T) \neq {0} ⟺ S_{R} (σ, T) \neq {0}$ ．

$S_{L} (σ, T) ≅ S_{R} (σ, T)$ であることから従う．

特異値

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像， $σ \in R_{> 0}$ とする． $S_{L} (σ, T) \neq {0}$ のとき， $σ$ は $T$ の特異値であるという．系 2 よりこれは $S_{R} (σ, T) \neq {0}$ と同値である．

$T$ の特異値の集合を $Σ (T)$ と表す．

一般的な定義では， $T^{*} T$ が単射でないとき (すなわち $T$ が単射でないとき) $0$ を $T$ の特異値とみなす．特異値分解において特異値 $0$ の存在により例外が生じるのを避けるため，ここでは一般的な定義とは異なり，正の特異値のみを考える．

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像とする． $Σ (T) = Σ (T^{*})$ である．

系 2 より， $σ \in Σ (T) ⟺ S_{L} (σ, T) \neq {0} ⟺ S_{R} (σ, T) \neq {0} ⟺ S_{L} (σ, T^{*}) \neq {0} ⟺ σ \in Σ (T^{*})$

特異値分解

自己随伴作用素について，以下が有名です．証明は省略します．

自己随伴作用素の性質

$V$ を計量ベクトル空間， $T : V \to V$ を線形写像とする． $T$ が自己随伴作用素ならば， $Λ (T) \subseteq R$ であり， $V = ⨁_{λ \in Λ (T)}^{⊥} E (λ, T)$ である．

これを用いて，線形写像の特異値分解を与えます．

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像とする．このとき $T^{*} T$ は自己随伴作用素であり， $Λ (T^{*} T) \subseteq R_{\geq 0}$ ．

$(T^{*} T)^{*} = T^{*} (T^{*})^{*} = T^{*} T$ であるから， $T^{*} T$ は自己随伴作用素である．よって， $Λ (T^{*} T) \subseteq R$ である．

任意の $λ \in Λ (T^{*} T)$ をとり，固有値 $λ$ の固有ベクトル $v \in V$ をとる． $λ ∥ v ∥^{2} = (λ v) \cdot v = (T^{*} T v) \cdot v = (T v) \cdot (T v) = ∥ T v ∥^{2} \geq 0$ であるから， $λ \geq 0$ ．

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像とする．このとき以下が成り立つ．

$Coim T = ⨁_{σ \in Σ (T)}^{⊥} S_{L} (σ, T)$ ．
$Im T = ⨁_{σ \in Σ (T)}^{⊥} S_{R} (σ, T)$ ．

命題 3，命題 6，補題 7 より，
$\begin{aligned} V & = \underset{λ \in Λ (T^{*} T)}{⨁^{⊥}} E (λ, T^{*} T) \\ = (\underset{λ \in Λ (T^{*} T) ∖ {0}}{⨁^{⊥}} E (λ, T^{*} T)) \oplus^{⊥} E (0, T^{*} T) \\ = (\underset{σ \in R_{> 0}, σ^{2} \in Λ (T^{*} T)}{⨁^{⊥}} E (σ^{2}, T^{*} T)) \oplus^{⊥} (Ker (T^{*} T)) \\ = (\underset{σ \in Σ (T)}{⨁^{⊥}} S_{L} (σ, T)) \oplus^{⊥} (Ker T) \end{aligned}$
であるから， $Coim T = (Ker T)^{⊥} = ⨁_{σ \in Σ (T)}^{⊥} S_{L} (σ, T)$ ．
$Im T = Coim T^{*} = ⨁_{σ \in Σ (T^{*})}^{⊥} S_{L} (σ, T^{*}) = ⨁_{σ \in Σ (T)}^{⊥} S_{R} (σ, T)$ ．

特異値分解

$V, W$ を計量ベクトル空間， $T : V \to W$ を線形写像とする．このとき
$T = \sum_{σ \in Σ (T)} σ T_{σ} P_{S_{L} (σ, T)}$
が成り立つ．

$v \in V$ をとる． $T v = T P_{Coim T} v$ である． $Coim T = ⨁_{σ \in Σ (T)}^{⊥} S_{L} (σ, T)$ であるから， $P_{Coim T} = \sum_{σ \in Σ (T)} P_{S_{L} (σ, T)}$ ．よって， $T v = \sum_{σ \in Σ (T)} T P_{S_{L} (σ, T)} v = \sum_{σ \in Σ (T)} σ T_{σ} P_{S_{L} (σ, T)} v$ ．

以上の内容を自然言語でまとめると，以下のようになります．

$Coim T, Im T$ はそれぞれ左特異空間・右特異空間の直交する直和に分解される．
各 $σ$ に対し，左特異空間と右特異空間は同型である．
$T$ を左特異空間に制限したときの像は対応する右特異空間であり，その写像はノルムを $σ$ 倍にする．

$V, W$ に正規直交基底が定められているとき，それを左特異空間・右特異空間の正規直交基底を並べたものに基底変換する行列を書き下すと，通常の行列の特異値分解が得られます．

応用: 極分解

$V$ 上の線形変換に対し，左特異空間から右特異空間へのノルムを $σ$ 倍する写像を考える代わりに，最初に左特異空間の中で $σ$ 倍し，その次に等長写像を施すと考えると，極分解が得られます．

極分解

$V$ を計量ベクトル空間， $T : V \to V$ を線形写像とする． $V$ 上の等長同型写像 $U$ と $V$ 上の半正定値作用素 $P$ であって $T = U P$ となるものが存在する．

$Coim T ≅ Im T$ より， $\dim Ker T = \dim Coker T$ であるから，等長同型 $Ker T \to Coker T$ が存在する．そのうち $1$ つを任意に取りそれを $U_{0}$ とおく．

$V = (\oplus_{σ \in Σ (T)}^{⊥} S_{L} (σ, T)) \oplus^{⊥} (Ker T)$ に注意する． $U, P$ をそれぞれ $S_{L} (σ, T), Ker T$ 上で以下のように定義し，直和の普遍性により $V$ 全体に拡張する．

$U v = T_{σ} v (v \in S_{L} (σ, T))$
$U v = U_{0} v (v \in Ker T)$
$P v = σ v (v \in S_{L} (σ, T))$
$P v = 0 (v \in Ker T)$

$P$ は明らかに半正定値作用素である． $V = (\oplus_{σ \in Σ (T)}^{⊥} S_{R} (σ, T)) \oplus^{⊥} (Coker T)$ で $T_{σ}, U_{0}$ は等長同型写像であるから， $U$ も等長同型写像である．また， $S_{L} (σ, T), Ker T$ 上で $T = U P$ が成り立つため，直和の普遍性により $V$ 全体で $T = U P$ が成り立つ．

投稿日：19日前

更新日：17日前

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。

バッチを贈って投稿者を応援しよう

バッチを贈ると投稿者に現金やAmazonのギフトカードが還元されます。

投稿者

SSRS

1476

他の人のコメント

コメントはありません。

読み込み中

SSRS

基底を用いない特異値分解

準備
基本部分空間
特異値
特異値分解
応用: 極分解