Wasserstein距離に基づく分布的ロバスト最適化の凸最適化問題への帰着

1. はじめに

この記事は、文献[2]の式変形の備忘録として残したものです。式番号は論文にあわせておりますのでご注意ください。

ルベーグ積分、関数解析、凸解析および測度論的確率論を勉強しはじめた段階なので、間違った理解をしているところがあると思います。見つけた際は、間違いをご指摘頂ければ幸いです。

2. Wasserstein距離とは

Wasserstein距離は、輸送問題に着想を得た分布間の距離尺度のことである。連続型分布$\mathbb{Q}:=\gamma(・)$と、離散型分布である経験分布$\mathbb{P}:=p$の間に限定して考える。

Wasserstein距離のイメージ図

図1のように、$\mathbb{P}$から$\mathbb{Q}$へと確率を移動する輸送問題を考え、単位輸送費用が$\|z-Y_i\|_p$で与えられた場合の最小費用がダイバージェンス$d(\mathbb{Q}|\mathbb{P})$を与える。

3. 分布的ロバスト最適化とは

事前には認知が難しい事後での不整合に対し、最悪ケースのずれがあったとしても最適解の実行可能性やある種の最適性を担保しようとする最適化モデリングをロバスト最適化という。

ロバスト最適化の比較を図に示す。

ロバスト最適化の比較

ロバスト最適化の中でも想定する確率分布の不確実性を考慮したものを分布的ロバスト最適化という。

分布的ロバスト最適化は、経験分布$\hat{\mathbb{P}}_N$の不確実性を集合で表し、その集合の中で最悪ケースの期待コストの最小化を目指す。

$$ \inf_{x}\sup_{\mathbb{Q}\in\mathbb{B}_{\epsilon}(\hat{\mathbb{P}}_N)} \mathbb{E}^{\mathbb{Q}}[l(\xi)] $$

不確実性集合$\mathbb{B}_{\epsilon}(\hat{\mathbb{P}}_N)$は、下式で与えられる。

$$ \mathbb{B}_{\epsilon}(\hat{\mathbb{P}}_N) := \{\mathbb{Q}\in\mathcal{M}(\Xi): d_{W}(\hat{\mathbb{P}}_N,\mathbb{Q})\leq\epsilon\}. \tag{6} $$

経験分布$\hat{\mathbb{P}}_N$を中心とした半径$\epsilon$のWasserstein球とみることができる。

4. 最悪ケースの期待コスト問題の凸最適化問題への帰着

式(10)の最悪ケースの期待コスト問題が凸最適化問題に帰着することができることをみていく。

$$ \sup_{\mathbb{Q}\in\mathbb{B}_{\epsilon}(\hat{\mathbb{P}}_N)} \mathbb{E}^{\mathbb{Q}}[l(\xi)] \tag{10} $$

4.1 定理１で使う道具の紹介

この節では、定理1の証明に入る前に、証明でつかう定義や補題を紹介する。
関数解析、凸解析および測度論的確率論はまだ勉強しはじめたばかりなので間違いがあればご指摘ください。

4.2 定理1の証明

$$ \begin{aligned} \sup_{\mathbb{Q}\in\mathbb{B}_{\epsilon}(\hat{\mathbb{P}}_N)} \mathbb{E}^{\mathbb{Q}}[l(\xi)] &= \left| \begin{aligned} \sup_{\mathbb{Q_i}\in\mathcal{M}(\Xi)} \quad & \dfrac{1}{N}\sum_{i=1}^N\int_{\Xi}l(\xi)\mathbb{Q}_i(d\xi)\\ \textrm{s.t.} \quad & \dfrac{1}{N}\sum_{i=1}^N\int_{\Xi}\|\xi-\hat{\xi}_{i}\|\mathbb{Q}_i(d\xi)\leq\epsilon\\ \end{aligned} \right.\\ &= \sup_{\mathbb{Q_i}\in\mathcal{M}(\Xi)} \inf_{\lambda\geq 0} \dfrac{1}{N}\sum_{i=1}^N\int_{\Xi}l(\xi)\mathbb{Q}_i(d\xi) + \lambda\left(\epsilon-\dfrac{1}{N}\sum_{i=1}^N\int_{\Xi}\|\xi-\hat{\xi}_{i}\|\mathbb{Q}_i(d\xi)\right) \\ &\leq \inf_{\lambda\geq 0} \sup_{\mathbb{Q_i}\in\mathcal{M}(\Xi)} \dfrac{1}{N}\sum_{i=1}^N\int_{\Xi}l(\xi)\mathbb{Q}_i(d\xi) + \lambda\left(\epsilon-\dfrac{1}{N}\sum_{i=1}^N\int_{\Xi}\|\xi-\hat{\xi}_{i}\|\mathbb{Q}_i(d\xi)\right) \ \ (12a) \\ &= \inf_{\lambda\geq 0} \sup_{\mathbb{Q_i}\in\mathcal{M}(\Xi)} \lambda\epsilon +\dfrac{1}{N}\sum_{i=1}^{N}\int_{\Xi}\left(l(\xi)-\lambda\|\xi-\hat{\xi}_{i}\|\right)\mathbb{Q}_i(d\xi) \\ &= \inf_{\lambda\geq 0} \lambda\epsilon +\dfrac{1}{N}\sum_{i=1}^{N}\sup_{\xi\in\Xi}\left(l(\xi)-\lambda\|\xi-\hat{\xi}_{i}\|\right) \ \ (\because 補題2) \\ &= \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &\sup_{\xi\in\Xi}\left(l(\xi)-\lambda\|\xi-\hat{\xi}_{i}\|\right)\leq s_i, \forall i\leq N\\ & \lambda \geq 0\\ \end{aligned} \right. \\ &= \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &\sup_{\xi\in\Xi}\left(l_k(\xi)-\max_{\|z_{ik}\|_*\leq\lambda}\langle z_{ik},\xi-\hat{\xi}_i\rangle\right)\leq s_i, \forall i\leq N,\forall k\leq K\\ & \lambda \geq 0\\ \end{aligned} \right. \\ &\leq \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &\min_{\|z_{ik}\|_*\leq\lambda}\sup_{\xi\in\Xi}\left(l_k(\xi)-\langle z_{ik},\xi-\hat{\xi}_i\rangle\right)\leq s_i, \forall i\leq N,\forall k\leq K\\ & \lambda \geq 0\\ \end{aligned} \ \ (12e) \right. \\ &= \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &\sup_{\xi\in\Xi}\left(l_k(\xi)-\langle z_{ik},\xi-\hat{\xi}_i\rangle\right)\leq s_i, \forall i\leq N,\forall k\leq K\\ & \lambda \geq 0\\ & \|z_{ik}\|_*\leq\lambda\\ \end{aligned} \right. \\ &= \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &\sup_{\xi\in\Xi}\left(l_k(\xi)-\langle z_{ik},\xi-\hat{\xi}_i\rangle\right)\leq s_i, \forall i\leq N,\forall k\leq K\\ & \|z_{ik}\|_*\leq\lambda\\ \end{aligned} \right. \\ &= \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &\sup_{\xi\in\Xi}\left(l_k(\xi)-\langle z_{ik},\xi\rangle\right)+\langle z_{ik},\hat{\xi}_i\rangle\leq s_i, \forall i\leq N,\forall k\leq K\\ & \|z_{ik}\|_*\leq\lambda\\ \end{aligned} \right. \\ &= \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &\sup_{\xi\in\Xi}\left(l_k(\xi)+\langle z_{ik},\xi\rangle\right)-\langle z_{ik},\hat{\xi}_i\rangle\leq s_i, \forall i\leq N,\forall k\leq K\\ & \|z_{ik}\|_*\leq\lambda\\ \end{aligned} \right. \\ &= \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &\sup_{\xi\in\Xi}\left(\langle z_{ik},\xi\rangle-(-l_k(\xi))\right)-\langle z_{ik},\hat{\xi}_i\rangle\leq s_i, \forall i\leq N,\forall k\leq K\\ & \|z_{ik}\|_*\leq\lambda\\ \end{aligned} \right. \\ &= \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &\sup_{\xi\in\Xi}\left(\langle z_{ik},\xi\rangle-(-l_k(\xi)+\chi_{\Xi}(\xi))\right)-\langle z_{ik},\hat{\xi}_i\rangle\leq s_i, \forall i\leq N,\forall k\leq K\\ & \|z_{ik}\|_*\leq\lambda\\ \end{aligned} \right. \\ &= \left| \begin{aligned} \inf_{\lambda,s_i} \quad & \lambda\epsilon+\dfrac{1}{N}\sum_{i=1}^{N}s_i\\ \textrm{s.t.} \quad &[-l_k+\chi_{\Xi}]^*(z_{ik})-\langle z_{ik},\hat{\xi}_i\rangle\leq s_i, \forall i\leq N,\forall k\leq K\\ & \|z_{ik}\|_*\leq\lambda\\ \end{aligned} \right. \\ &= \left| \begin{aligned} \inf_{\lambda,s_i,z_{ik},v_{ik}} \quad & \lambda\epsilon + \dfrac{1}{N}\sum_{i=1}^N s_i\\ \textrm{s.t.} \quad & \left[-l_k\right]^*(z_{ik}-v_{ik})+\sigma_{\Xi}(v_{ik})-\langle z_{ik},\hat{\xi}_i\rangle\leq s_i\\ & \|z_{ik}\|_*\leq \lambda \\ \end{aligned} \right. \ \ (\because 補題4) \end{aligned} $$

仮定4.1のもとで、式(12a)と式(12e)の不等号が等号になることを示す。仮定4.1のもとで、式(12a)は強双対性より等号が成立する。仮定4.1のもとで、minimax定理より式(12e)は等号が成立する。

よって、仮説4.1において、任意の$\epsilon\geq 0$において、式(10)の最悪ケースの期待コスト問題は式(11)の凸最適化問題の最適値に等しい。