8
大学数学基礎解説
文献あり

駆け足で学ぶエクスパンダーグラフ

2944
1

こんにちは. Le Algorithm の著者をしているのぶしみ( @knewknowl )と申します. 数学系の記事を執筆しやすそうなMathlogというサービスを知ったので, 試しがてらに一記事を執筆しようと思い立ったのでエクスパンダーグラフについての紹介記事を書いています.

グラフ理論やグラフアルゴリズム関連の研究に携わると「エクスパンダーグラフ」という単語に出会うことがあります. この記事ではこのエクスパンダーグラフについて概説します. 前提知識としては, 線形代数の基本的な事柄(固有値の定義とか)が分かっていれば大丈夫です. 念の為, 本記事の末尾に付録Aとして行列のスペクトルノルムの定義や基本的な性質を載せています.

1. 基本的な定義

基本的な用語の定義をします. グラフの隣接行列, 遷移確率行列, グラフラプラシアンの定義を知っていれば1章は読み飛ばして頂いても構いません.

有限集合Vに対し,(V2)={{u,v}V:uv}とします. E(V2)に対し, 組G=(V,E)グラフ (graph)と呼びます (正確には有限無向グラフですが, この記事では簡単にグラフとします) ここでEを辺集合, Vを頂点集合と呼び, それぞれの要素を辺(edge)及び頂点(vertex)と呼びます. この記事中では頂点集合のサイズをnで表すことにします.

グラフG=(V,E)の各頂点vVに対し, N(v)={wV:{v,w}E}vの隣接頂点集合とし, deg(v)=|N(v)|v次数(degree)と呼びます. 全ての頂点の次数がdに等しいグラフをd-正則グラフ(d-regular graph)または単に正則グラフ(regular graph)と呼びます.

グラフG=(V,E)隣接行列(adjacency matrix)A{0,1}V×Vを以下で定めます:
Au,v={1if {u,v}E,0otherwise.
また, 対角行列DRV×V
Du,v={deg(v)if u=v,0otherwise
とします. また, 1RVを成分が全て1のベクトルとし, 0でゼロベクトルを表すことにします.

P=D1A[0,1]V×Vで与えられる行列をG遷移確率行列(transition matrix)と呼びます. 特に, 遷移確率行列Pの各成分Pu,vは, {u,v}Eのときは1deg(u)となります. 隣接行列Aは対称行列ですが, Pは必ずしも対称にはならないことに注意してください.

遷移確率行列という名称は, ランダムウォークに由来します. 一つの頂点から始めて隣接頂点を一様ランダムに選びそこに遷移するという確率過程をランダムウォーク(random walk) (より正確には, 単純ランダムウォーク) と言いますが, グラフG上のランダムウォークにおいて頂点uから頂点vに移動する確率は1/deg(u)となり, この確率を全てのu,vVに対し行列として表現したものが遷移確率行列Pになります.

L=DAで与えられる行列をグラフラプラシアン (graph Laplacian)と呼びます. また, L~=D1/2LD1/2=ID1/2AD1/2で与えられる行列を正規化したラプラシアン (normalized Laplacian)と呼びます. ここで, D1/2,D1/2はそれぞれD1/2=diag(deg(v1),,deg(vn)), D1/2=(D1/2)1で与えられる行列です.

2. スペクトルグラフ理論

グラフに付随する行列を定義しました. 実はグラフ理論には, グラフの構造的性質をその固有値を使って解析する理論があり, スペクトルグラフ理論(spectral graph theory)と呼ばれています.

2.1. 実固有値性

隣接行列とグラフラプラシアン及びその正規化はどれも対称行列なので実固有値を持ちます. 一方で遷移確率行列Pは対称ではないので一見すると実固有値を持たないように見えますが, 実はPの固有値は全て実数になることが示せます:

任意のグラフGに対し, 遷移確率行列Pの固有値λ1,,λnは実数であり, λi[1,1]を満たす.

行列M=D1/2AD1/2を考えます. この行列は対称行列なので, 全ての固有値は実数になります. Mの固有値λに対応する固有ベクトルをxとします. すなわち, Mx=λxが成り立ちます. ベクトルy=D1/2xを考えます.
Py=D1AD1/2x=D1/2Mx=λD1/2x=λy
より, PMは同じ固有値を持ちます.
また, Gershgorinの定理 より, Pの全ての固有値は[1,1]に属し, 特にP1=1よりP1を最大固有値として持ちます.

また, グラフラプラシアンLL1=0より, 必ず0を固有値に持ちます. 特にグラフが正則グラフのとき, D=dIなので, どの行列を考えても本質的に等価です (I{0,1}V×Vは単位行列).

2.2. 連結性

連結性

グラフG=(V,E)を考える. 任意の二頂点u,vVに対して, 以下を満たす頂点の列(w0,w1,,wl)が存在するとき, G連結(connected)であるという:

  • w0=u,
  • wl=v,
  • 全てのi=0,,l1に対し{wi,wi+1}E.

connectivity connectivity

直感的に言えば, どの二頂点も辺を辿って行き来できればそのグラフは連結であるということになります.

連結成分を二つ持つグラフGを考え, その連結成分のなすグラフをG1,G2とし, それぞれの遷移確率行列をP1,P2とします. するとGの隣接行列Pは, 頂点番号を適切に振り分けることで以下のブロック対角行列として表すことができます:

P=[P1OOP2].
ここでOは全ての要素がゼロの行列です. ベクトルx1=[10]x2=[01]を考えると, どちらもPxi=xiを満たすことが確認できます. なのでPの固有値1の多重度は2になっていて, これはGの連結成分の個数と等しくなります. 一般的に, 次の命題が成り立ちます.

グラフGの遷移確率行列の固有値1の多重度は, Gの連結成分の個数と等しい. さらにこの値は, Gのグラフラプラシアンの固有値0の多重度と等しい.

2.3. 二部グラフ

二部グラフ

グラフG=(V,E)を考える. Vの分割(V1,V2)が存在して, E(V12)=E(V22)=とできるとき, G二部グラフ(bipartite graph)であるという.

bipartite_example bipartite_example

直感的に言えば, V1,V2の間にしか辺がないような分割(V1,V2)がとれるグラフのことを二部グラフといいます. 二部グラフの遷移確率行列は次の形で表すことができます:

P=[OP1P2O].
ここでP1[0,1]V1×V2,P2[0,1]V2×V1です. Vi内部には辺がないので, Vi-Vi成分は全て0になるからこのように表すことができます. ベクトルx=[x1x2]Pの固有値λに対する固有ベクトルとします. このとき, P1x2=λx1及びP2x1=λx2が成り立ちます. なので, y=[x1x2]に対してPyを計算すると
[OP1P2O][x1x2]=[P1x2P2x1]=λ[x1x2]=λy.
すなわちyPの固有値λに対する固有ベクトルになっています! ですので, Pの固有値λ1λn0に関して対称的になっていて, λi=λni1が成り立つことがわかります. 特にλ1=1なのでλn=1です. 実は逆も成り立っており, 固有値の0に関する対称性がグラフの二部性を特徴付けています:

グラフGが二部グラフであることの必要十分条件は, その遷移確率行列Pの固有値λ1,,λnが全てのi=1,,nに対しλi=λni1が成り立つことである.

2.4. 例

色んなグラフに対しPの固有値を見ていきましょう.

サイクルグラフ

サイクルグラフ Cn=(V,E)は, V={v0,,vn1}に対してE={{vi,vi+1}:iZ/nZ}で定義されるグラフです (下図).

C_8 C_8

Cn2-正則グラフで, 遷移確率行列P
Pvi,vj={12if |ij|=1(modn),0otherwise
です. 少し計算は面倒ですが, 固有値を求めるとλj=cos(2πj/n) (j=0,,n1) となります. nが偶数のときCnは二部グラフになりますが, このときこれらの固有値は0に関する対称性を持ちます.

完全グラフ

完全グラフKn=(V,E)は, |V|=nかつE=(V2)となるグラフです. つまり全ての頂点対に辺があるグラフなので, (n1)-正則です. 隣接行列AA=11Iに対し遷移確率行列PP=1n1Aとなります. 行列111が固有値nの固有ベクトルになっていて, 他の全ての固有ベクトルx1に直交するため11x=0となるため, Aは多重度1の固有値n1と多重度n1の固有値1を持ちます. このことからPの固有値は11/(n1)です.

3. エクスパンダー

エクスパンダーグラフの定義は色んな仕方があります. この記事では以下で定めたλ-エクスパンダーという概念を考えます (他にも定義4の(n,d,λ)-エクスパンダーという用語も知られていますがこの定義は本記事ではここ以外では取り上げないので, 本記事を読む上では覚えなくても構いません).

λ-エクスパンダー

グラフGの遷移確率行列の固有値を大きい順に1=λ1λn1とする. max{|λ2|,|λn|}λを満たすとき, Gλ-エクスパンダー(expander)と呼ぶ.

(n,d,λ)-エクスパンダー

n頂点d-正則グラフGλ-エクスパンダーであるとき, Gを特に(n,d,λ)-エクスパンダーと呼ぶ.

簡潔に言えば, 非自明な固有値max{|λ2|,|λn|}が全て小さい値をとるときにそのグラフをエクスパンダーといいます. 任意のグラフは1-エクスパンダーですが, 特に二部グラフは明らかに1-エクスパンダーです. 命題3で主張したように二部グラフは固有値に対称性があるのでλn=λ1も自明な固有値に含まれてしまいます. 二部グラフに対してエクスパンダーを議論したい場合はmax{|λ2|,|λn1|}=|λ2|を考えることがあります. 本記事では特にこのようなことはせず, 二部グラフは1-エクスパンダーであるとします(なので二部グラフに対しては自明な事実しか言えません).

専門家向けの注釈(断り):
正則グラフに対してエクスパンダーなものを定義して議論するという文献が非常に多いため, 定義4の方が知れ渡っています. しかしそうすると正則でないグラフに対する議論などができないので本記事では定義3を採用しています. また, グラフラプラシアンLを使ったエクスパンダーの定義もよく知られています. しかし, 遷移確率行列の固有値を考えた方がExpander Mixing Lemmaの導入が楽なので遷移確率行列による定義を採用しました.)

エクスパンダーグラフは線形代数のテクニックと非常に親和性が高く, 面白い性質が多く知られています. 以降では, λ-エクスパンダーの色んな性質を紹介していきます. 結論から言えばエクスパンダーは辺が(V2)の全体に満遍なく散らばっているという構造的性質を持つことを見ていきます.

4. Expander Mixing Lemma

G=(V,E)を正則グラフとします. 二つの頂点部分集合S,TVに対してE(S,T)={(u,v)E:uS,vT}とします. 言い換えれば, E(S,T)STの間にある辺の集合になっていて, |E(S,T)|が大きいほどST間の結合が強いことを意味します.

E(S,T)1 E(S,T)1

特に, STのとき, |E(S,T)|ST内の辺を2回カウントすることに注意してください. 例えば下図では辺{u,v}STに含まれているため, E(S,T)={(u,v),(v,u)}なので|E(S,T)|=2です.

E(S,T)2 E(S,T)2

正則グラフに対するExpander Mixing Lemma

G=(V,E)d-正則かつλ-エクスパンダーとする. このとき, 任意のS,TVに対して
||E(S,T)|d|S||T|n|dλ|S||T|.

定理4の気持ちを述べます. グラフGd-正則グラフなので, |E|=nd2です. グラフは最大で(n2)本の辺を持ちうるので, G辺密度|E|/(n2)dnになります. Expander Mixing Lemmaは, 小さいλに対してグラフがλ-エクスパンダーであるならば, この辺は(V2)に満遍なく散らばっているということを主張している定理です. 満遍なく辺が散らばっているとき, どの二つの頂点集合S,TVに対してST間の辺の密度は全体の辺密度d/nとほぼ同じ値になります. すなわち, |E(S,T)|dn|S||T|となります. Expander Mixing Lemmaはこのの評価を行っていると解釈することができます.

(注: この証明で出てくる行列のノルムや付随する不等式については本記事の最後の章に付録として定義などを載せてあるので, 分からない方はそれを参照してください)

頂点部分集合UVに対し, 1S{0,1}VUの指示ベクトルとする. すなわち
(1S)u={1if uU,0otherwise.
AGの隣接行列とし, 行列Adn11について
1S(Adn11)1T=u,vVAu,v(1S)u(1T)vdn|S||T|=|E(S,T)|dn|S||T|
となります. 一方で, Cauchy-Schwarzの不等式より
|1S(Adn11)1T|1S1TAdn11|S||T|supx0|R(x;Adn11)|
ここで, Mは行列Mのスペクトルノルム, R(x;M)=xMxxxは行列Mのレイリー商としています (付録A参照).

行列M=Adn11とおき, そのレイリー商R(x;M)を評価します. Gd正則なので, A1=d1. すなわちM1=0となるので, x=α1+βv0とすると(ここでv1と直交),
xMx=βxMv=β(Mx)v=β2vMv.
今, |R(x;M)|を最大化するxを考えると, x2=α2n+β2v2より, α=0でなければなりません. このときR(x;M)=vMvvvとなりますが, vの直交性から11v=0なので, Mv=Avとなることから, R(x;M)=R(x;A)です. vAの第一固有ベクトル1に直交しているので, supv0:v1|R(v;A)|=max{|λ2(A),λn(A)}です (λi(A)は行列Ai番目に大きい固有値). 仮定よりグラフGλ-エクスパンダーなので, max{|λ2(A),λn(A)}dλです. 今までの議論をまとめると
||E(S,T)|dn|S||T||=|1S(Adn11)1T||S||T|supx0|R(x;Adn11)|dλ|S||T|
を得ます.

一般グラフに対するExpander Mixing Lemma

非正則グラフに対するExpander Mixing Lemmaはあまりグラフ理論の文脈では注目されていませんが, ランダムウォークの理論では知れ渡っています. 定理の主張を述べるために少し準備します.

定常分布

グラフG=(V,E)に対してベクトルπ=(deg(v)2|E|)vV[0,1]V定常分布(stationary distribution)という.

実際, 定常分布πV上の確率分布になります. というのも 握手補題 より, vVdeg(v)=2|E|なので, vVπv=1になります. 例えばGが正則グラフの場合はπV上の一様分布になります. また, πPの左固有ベクトルになっていて, πP=πを満たすことが簡単に確認できます. このことから, 適当な初期分布μ[0,1]Vから始めてμi+1=μPと定義すると, 適当の条件下でμtπに収束することが示せます. これが「定常」分布たる所以です.

最後に以下を定義します:

  • SVに対し, πS=vSπv.
  • vVSVに対し, Pv,S=wSPv,w.
  • S,TVに対し, Q(S,T)=vSπvPv,T.

Q(S,T)はマルコフ連鎖理論においてedge measure[2]と呼ばれる値で, 実はQ(S,T)=Q(T,S)が成り立ちます. また, Pv,Sは「vの隣接点をランダムに選んだときにその点がSに含まれている確率」と解釈することができます. 例えばGd-正則のときはπv=1n, Pv,S=|E({v},S)|dより
Q(S,T)=1ndvS|E({v},T)|=|E(S,T)|nd
となります.

一般グラフのExpander Mixing Lemma

グラフG=(V,E)λ-エクスパンダーならば, 任意のS,TVに対し
|Q(S,T)πSπT|λπSπT.

定理5の証明は本記事では省きますが, 文献[2]に載っています. また, Gが正則グラフの場合, 定理5は定理4と等価になります.

5. Cheegerの不等式

Cheeger定数やCheegerの不等式は多様体の文脈で知られている結果ですが, その離散の世界における解釈がグラフ理論で知られています. 導入を単純にするために, まずは正則グラフを考え, そのあとに一般のグラフに対するCheegerの不等式を紹介します.

正則グラフの辺拡張率

d-正則グラフG=(V,E)とその頂点部分集合SVに対し, 辺拡張率(edge expansion) ϕ(S)ϕ(S)=|E(S,VS)|d|S|で定める. グラフGの辺拡張率(またはCheeger定数)ϕ(G)ϕ(G)=min0|S|n/2ϕ(S)で定める.

頂点部分集合SVに対してd|S|=vSdeg(v)Sに接続している辺の総数になっていて, |E(S,VS)|はこれらの辺のうちSの外側と繋がっているものをカウントしています. つまり, ϕ(S)が大きいということはSの辺のうち外部VSに接続しているものが多いということを意味しており, ϕ(S)が小さいということはSは外部から孤立気味になっているということを意味します.

phi phi

Cheegerの不等式

正則グラフGの正則化されたグラフラプラシアンL~の第二固有値(i.e., 二番目に大きい固有値)をλ2とする. このとき
λ22ϕ(G)2λ2.

d-正則グラフのL~L~=IPとなるので, 1=μ1μnPの固有値とすると, 1μi=λiとなります. したがってCheegerの不等式は遷移確率行列の言葉を使うと次のように言い直すことができます.

正則グラフGの遷移確率行列Pの固有値を1=μ1μn1とする. このとき,
1μ22ϕ(G)2(1μ2).

特にGがエクスパンダーのとき, |μ2|が小さいのでϕ(G)が大きいはずです. すなわちどのSVに対してϕ(S)が大きいので, どのSに対してもSは孤立気味になっていないということになり, 結果としてExpander Mixing Lemmaの帰結(辺が満遍なく分散している)のようなことがわかります.

一般グラフに対するCheegerの不等式

5章で定義したedge measure Q(S,T)と定常分布πを思い出してください. 特に, πS=vVπvです. Gが正則グラフの場合はQ(S,T)=|E(S,T)|nd及びπS=d|S|nとなります.

一般グラフの辺拡張率

グラフG=(V,E)とその頂点部分集合SVに対し, 辺拡張率ϕ(S)ϕ(S)=Q(S,VS)πSで定める. また, グラフGの辺拡張率ϕ(G)ϕ(G)=min0<πS1/2ϕ(S)で定める.

特に, 命題1の証明より, L~の固有値λiPの固有値μiの間にはμi=1λiという関係が成り立つので, 定理7は遷移確率行列の言葉で言い直すこともできます.

一般グラフに対するCheegerの不等式

グラフGの正規化したグラフラプラシアンL~の第二固有値をλ2とする. このとき,
λ22ϕ(G)2λ2

7. 結論

グラフ理論でよく見かけるエクスパンダーというグラフの性質を見てきました. 特に, グラフの構造的性質をそれに付随する行列の固有値から導出していくスペクトルグラフ理論という理論の紹介を簡単に行い, その後にExpander Mixing LemmaとCheegerの不等式を紹介しました. 正則グラフに対するExpander Mixing Lemma(定理4)の証明を見ると分かるように, 線形代数の色んな道具を使っています. グラフという組合せ論的なものの性質を線形代数を使って解析できるというのが面白いですね.

8. Notes

  • 参考文献[1]はマルコフ連鎖の非常に有名な英語書籍で, ランダムウォークなどを学びたい方にはおすすめです. 色んな結果が載っているので論文を書くときに引用されることも多いです.

  • 参考文献[2]は計算量理論の非常に有名な本です. 英語で書かれていますが, 幅広いトピックを網羅しており, 21章と22章ではエクスパンダーグラフを応用した様々な理論的結果を紹介しています.

付録A. 線形代数の復習 (ノルム)

行列やベクトルのノルムとその基本的な性質を書いておきます. 知っている方は読まなくても大丈夫です. この記事では基本的に実ベクトルや実行列を扱います.

ユークリッドノルム, スペクトルノルム

ベクトルx=(x1,,xn)Rnに対し, そのユークリッドノルム(Euclidean norm)xx=(i=1nxi2)1/2で定める.

行列MRn×nに対し, そのスペクトルノルム(spectral norm)MM=supx0Mxxで定める.

次の命題はMの定義より明らかですが, よく使います.

任意のベクトルxRnと行列MRn×nに対し, MxMx.

Cauchy-Schwarzの不等式

任意のベクトルx,yRnに対して, xyxy.

スペクトルノルムと特異値・固有値の関係

任意の行列Mに対し, MMMの最大固有値の平方根に等しい. 特に, Mが対称行列のときはM=maxi=1,,n|λi|. ただしλ1,,λnMの固有値.

レイリー商

対称行列MRn×nとベクトルxRnに対し, そのレイリー商(Rayleigh quotient)R(x;M)R(x;M)=xMxxxで定める.

レイリー商と最大固有値の関係

対称行列Mの最大固有値はsupx0R(x;M)に等しい. 最小固有値はinfx0R(x;M)に等しい.

対称行列Mに対し, M=supx0|R(x;M)|.

参考文献

[1]
David A. Levin and Yuval Peres, Markov Chains and Mixing Times, The AmericanMathematical Society, 2017
[2]
Sanjeev Arora and Boaz Barak, Computational Complexity: A Modern Approach, Cambridge University Press, 2009
投稿日:2021216
更新日:225
OptHub AI Competition

この記事を高評価した人

高評価したユーザはいません

この記事に送られたバッジ

バッジはありません。
バッチを贈って投稿者を応援しよう

バッチを贈ると投稿者に現金やAmazonのギフトカードが還元されます。

投稿者

knewknowl
knewknowl
22
6165
東工大助教. 理論計算機科学.

コメント

他の人のコメント

コメントはありません。
読み込み中...
読み込み中
  1. 1. 基本的な定義
  2. 2. スペクトルグラフ理論
  3. 2.1. 実固有値性
  4. 2.2. 連結性
  5. 2.3. 二部グラフ
  6. 2.4. 例
  7. 3. エクスパンダー
  8. 4. Expander Mixing Lemma
  9. 一般グラフに対するExpander Mixing Lemma
  10. 5. Cheegerの不等式
  11. 一般グラフに対するCheegerの不等式
  12. 7. 結論
  13. 8. Notes
  14. 付録A. 線形代数の復習 (ノルム)
  15. 参考文献