まず、一般の圏におけるコエンド(coend)または余積分の定義を確認しておく。
『関手 $S: \mathcal{C}^{op} \times \mathcal{C} \to \mathcal{D}$ に対するコエンド$\int^c S(c,c)$ とは、対象 $d \in \mathrm{Ob}(\mathcal{D})$ と、対象で添字付けされた射の族 $\omega_c: S(c,c) \to d$ (余楔や余外自然変換(dinatural transformation, extranatural transformation)と呼ぶ)の組であって、以下の2条件を満たすものである。
(余楔条件):$\mathcal{C}$ の任意の射 $f: c \to c'$ に対して、可換図式 $\omega_{c'} \circ S(c, f) = \omega_c \circ S(f, c')$ が成り立つ。
(普遍性):任意の対象 $d' \in \mathrm{Ob}(\mathcal{D})$ と余楔 $\omega'_c: S(c,c) \to d'$ に対して、一意な射 $h: d \to d'$ が存在し、任意の $c \in \mathrm{Ob}(\mathcal{C})$ について $\omega'_c = h \circ \omega_c$ を満たす。』
ターゲットの圏 $\mathcal{D}$ が薄い圏の場合、任意の2対象間の射は存在すれば一意であるため、可換図式の条件は「射が存在する」という事実だけで自動的に満たされる。
また、関手 $S$ の性質から、射 $f: c \to c'$ が存在すれば、$\mathcal{D}$ において射 $S(c', c) \to S(c,c)$ および $S(c', c) \to S(c',c')$ は既に存在している。したがって、薄い圏においては $\omega_c: S(c,c) \to d$ が存在さえすれば、余楔の図式は自動的に成立する。
よって、薄い圏におけるコエンドの定義は、以下のように書き直される。
『対象 $d \in \mathrm{Ob}(\mathcal{D})$ がコエンド $\int^c S(c,c)$ であるとは、次の2条件を満たすことである。
1.任意の $c \in \mathrm{Ob}(\mathcal{C})$ に対して、射 $S(c,c) \to d$ が存在する。
2.任意の対象 $d' \in \mathrm{Ob}(\mathcal{D})$ について、「任意の $c \in \mathrm{Ob}(\mathcal{C})$ に対して射 $S(c,c) \to d'$ が存在する」ならば、射 $d \to d'$ が存在する。』
この簡略化された定義にもとづいて、以下の命題を示す。
命題1。 $\mathcal{D}$ を薄い局所的小圏とする。関手 $S: \mathcal{C}^{op} \times \mathcal{C} \to \mathcal{D}$ に対して、$\mathrm{Ob}(\mathcal{D})$ の部分類(対象の集まり)$B$ を
$B = \{ S(c,c) \mid c \in \mathrm{Ob}(\mathcal{C}) \}$
で定義する。
このとき、上限 $\sup B$ が $\mathcal{D}$ に存在すれば(上限が複数あるときは任意に一つ選んで $d$ とする)、$d$ は関手 $S$ のコエンド $\int^c S(c,c)$ と対象同型になる。また $\sup B$ が存在しないときは、コエンドは定義できない。
(証明)
前述の「薄い圏におけるコエンドの書き換えられた定義」を満たすことを、上限の性質(上界性と最小上界性)を用いて示す。
ステップ1:余楔条件(上界性)の確認。
$d = \sup B$ とする。上界性より、$B$ の任意の元から $d$ への射が存在する。
$B$ の元は $S(c,c)$ の形をしているため、これは任意の $c \in \mathrm{Ob}(\mathcal{C})$ に対して射 $S(c,c) \to d$ が存在することを意味する。
これにより、薄い圏における余楔条件(書き直された定義の1)が満たされた。
ステップ2:普遍性(最小上界性)の確認。
任意の対象 $d' \in \mathrm{Ob}(\mathcal{D})$ が別の余楔、すなわち「任意の $c \in \mathrm{Ob}(\mathcal{C})$ に対して射 $S(c,c) \to d'$ が存在する」とする。
これは、$d'$ が$B$ の上界の一つであることを意味している。$d = \sup B$ の最小上界性より、射 $d \to d'$ が存在する。
$\mathcal{D}$ は薄い圏であるため、この射は唯一存在であり、普遍性(書き直された定義の2)が満たされる。
以上より $\sup B$ はコエンドの条件を満たす。もし別にコエンドが存在すれば普遍性により互いに双方向の射を持つため
$$\int^c S(c,c) \cong \sup B \quad (\text{対象同型})$$
が成り立つ。
また $\sup B$ が存在しないのにコエンドが存在すると仮定すると、上議論よりコエンドが $\sup B$ の条件を満たしてしまい矛盾する。ゆえに $\sup B$ が存在しないときはコエンドも定義できない。
(命題の証明終)
薄い圏においても、ルベーグ積分論のときと同じような命題が成り立つことを示す。
以下、文章の簡略化のため「射 $a \to b$ が存在すること」を単に「$a \to b$」と書く。また
$ \sup_ib_i:=sup\{b_i\in\mathcal{C}| i\in I\}$などの表記を用いる。
命題2。(薄い圏におけるFatouの補題.下極限 liminf に相当する形式)
$\int^c\sup_n\inf_{k\geq n} S_k(c,c) \to \sup_n\inf_{k\geq n}\int^c S_k(c,c).$
射を順序関係$\leq$であらわせば
$\int^c \liminf S_k(c,c) \leq \liminf \int^c S_k(c,c).$
(命題2の証明)
薄い圏では $\int^c (\cdot) \cong \sup_c (\cdot)$ であるから、求める射の定義域は $\sup_c \sup_n \inf_{k\geq n} S_k(c,c)$、値域は $\sup_n \inf_{k\geq n} \sup_c S_k(c,c)$ と書き換えられる。
まず、上限下限に関する基本性質(射の保存性、もしくは単調性)を示す。
命題。任意の$a\in A,b\in B$に対して$a\to b$ならば、$supA\to supB$かつ$infA\to infB.$
(証明)$supB$の上界性より$b\to supB.$ $a\to b$と合成して$a\to supB.$$supA$の最小上界性より$supA\to supB.$
また同じく$infA$の下界性より$infA\to a.$ $a\to b$と合成して$infA\to b.$ $infB$の最大下界性より$infA\to infB.$(証明終)
任意の$c'\in\mathcal{C} $に対して
$S_k(c',c') \to \sup_{c} S_k(c,c)$なので、この性質により$\inf_{k\geq n} S_k(c',c') \to \inf_{k\geq n} \sup_{c} S_k(c,c)$.
$c'$ に関して上限をとると$sup_{c'}\inf_{k\geq n} S_k(c',c') \to \inf_{k\geq n} \sup_{c} S_k(c,c)$.
$ n$に関して上限をとると、求める射が得られる。(命題2の証明終)
命題3および4を導くための基本補題。(上限の交換・結合則)
添字の類 $I, J$ について、$\sup_{(i,j)\in I\times J} a_{i,j} \cong \sup_{i\in I} \sup_{j\in J} a_{i,j}$ が成り立つ。
(基本補題の証明)
上限の上界性より、任意の $i, j$ について射列 $a_{i,j} \to \sup_j a_{i,j} \to \sup_i \sup_j a_{i,j}$が存在。
最小上界性より、$\sup_{(i,j)} a_{i,j} \to \sup_i \sup_j a_{i,j}.$
逆に$a_{i,j} \to \sup_{(i,j)} a_{i,j}$ なので、まず $j$ について上限をとると $\sup_j a_{i,j} \to \sup_{(i,j)} a_{i,j}.$さらに $i$ について上限をとることで $\sup_i \sup_j a_{i,j} \to \sup_{(i,j)} a_{i,j}.$
双方向に射が存在するため、両者は対象同型である。(基本補題の証明終)
命題3。(薄い圏におけるLebesgueの収束定理)
各 $i\in I$ に対して 関手$F_i: \mathcal{C}^{op} \times \mathcal{C} \to \mathcal{D}$
を定める。このとき
$\sup_i\int^{c}F_i(c,c) \cong \int^c sup_iF_i(c,c)$ (対象同型)。
(命題3の証明)
薄い圏では $\int^c (\cdot) \cong \sup_c (\cdot)$ であり、基本補題より上限は順序に依存せず結合できるため、両者は対象同型となる。(証明終)
命題4。(薄い圏におけるFubiniの定理)
$\int^{(x,y)}F(x,y,x,y) \cong \int^x\int^yF(x,y,x,y) \cong \int^y\int^xF(x,y,x,y)$
(命題4の証明)
コエンドを上限に書き換えると、求める射列は$\sup_{(x,y)} F(x,y,x,y) \cong \sup_x \sup_y F(x,y,x,y) \cong \sup_y \sup_x F(x,y,x,y)$ となる。これは基本補題の直接の帰結である。(命題4の証明終)
同じく薄い圏におけるエンドについても見ておく。
一般の圏におけるエンド$\int_c S(c,c)$は、対象と楔(wedge)の組として定義されるが、ターゲットの圏 $\mathcal{D}$が薄い圏の場合、可換図式の条件は自動的に満たされる。そのため、定義は以下のように簡略化される。
対象$d \in \mathrm{Ob}(\mathcal{D})$ がエンド$ \int_c S(c,c)$であるとは、次の2条件を満たすことである。
下界性: 任意の$c \in \mathrm{Ob}(\mathcal{C})$に対して、射$ d \to S(c,c)$が存在する。
最大下界性: 任意の対象$ d' \in \mathrm{Ob}(\mathcal{D})$について、「任意の$c \in \mathrm{Ob}(\mathcal{C})$に対して射$d'\to S(c,c)$が存在する」ならば、射$d'\to d$が存在する。
命題5。
$\mathcal{D}$を薄い局所的小圏とする。関手$S: \mathcal{C}^{op} \times \mathcal{C} \to \mathcal{D}$に対して、$\mathrm{Ob}(\mathcal{D})$の部分類$B$を以下で定義する。
$B=\{S(c,c)∣c∈Ob(\mathcal{C})\}$
このとき、下限$\inf B$が$\mathcal{D}$に存在すれば、それは関手Sのエンド$\int_c S(c,c)$と対象同型になる。
$\int_c S(c,c) \cong \inf B.$
$\inf B$が存在しないときは、エンドは定義できない。
命題6。 薄い圏におけるFatouの補題(エンド版)。
$\inf_n\sup_{k\geq n} \int_cS_k(c,c) \to \int_c\ \inf_n\sup_{k\geq n}S_k(c,c).$
(射を順序関係$\leq$で表せば、$\limsup \int_c S_k (c,c)\leq \int_c \limsup S_k(c,c)$ に相当する。)
命題7。 薄い圏におけるLebesgueの収束定理(エンド版)。
各$i\in I$に対して関手$F_i: \mathcal{C}^{op} \times \mathcal{C} \to \mathcal{D}$が与えられたとき、以下の対象同型が成り立つ。
$\inf_i\int_cF_i(c,c)≅\int_c\inf_iF_i(c,c).$
命題8。薄い圏におけるFubiniの定理(エンド版)。
$\int_{(x,y)}F(x,y,x,y)≅\int_x\int _yF(x,y,x,y)≅\int _y\int _xF(x,y,x,y).$
薄い圏におけるコエンドとエンドの順序交換については、以下が成り立つ。
命題9。(薄い圏における弱双対性)
$\int^y\int_xF(x,y,x,y) \to \int_x\int^yF(x,y,x,y).$
射を順序関係$\leq$であらわせば
$\int^y\int_xF(x,y,x,y) \leq \int_x\int^yF(x,y,x,y).$
(証明)
示すべきは$sup_y inf_x F(x,y,x,y)\to inf_x sup_y F(x,y,x,y).$
任意の$x',y'$を固定する。
下限の下界性より$inf_x F(x,y',x,y')\to F(x',y',x',y').$
同じく上限の上界性より$F(x',y',x',y')\to sup_{y}F(x',y,x',y)$.
合成して$inf_x F(x,y',x,y')\to sup_{y}F(x',y,x',y)$.
$x'$は任意なので、$inf_x F(x,y',x,y')$は$\{ sup_{y}F(x',y,x',y)\}_{x'}$の下界のひとつとみなせる。よって下限の最大下界性より
$inf_x F(x,y',x,y')\to inf_{x'}sup_{y}F(x',y,x',y)$.
さらに$inf_{x'}sup_{y}F(x',y,x',y)$は$\{ inf_x F(x,y',x,y')\}_{y'}$の上界のひとつとみなせるので、上限の最小上界性より
$sup_{y'}inf_x F(x,y',x,y')\to inf_{x'}sup_{y}F(x',y,x',y)$.
(証明終)
命題10。(薄い圏における強双対性がなりたつ一例)
エンドとコエンドが等しいとき、すなわち固定した任意の$y$に対して$\int_xF(x,y,x,y) \cong \int^xF(x,y,x,y)$
ならば
$\int^y\int_xF(x,y,x,y) \cong\int_x\int^yF(x,y,x,y).$
(証明)
$\int_x\int^yF(x,y,x,y)\to \int^y\int_xF(x,y,x,y)$
すなわち$inf_x sup_y F(x,y,x,y)\to sup_y inf_x F(x,y,x,y)$を示せばよい。
まず明らかに$inf_x sup_y F(x,y,x,y)\to sup_x sup_yF(x,y,x,y)$.
先に見た基本補題(上限の交換・結合則)より$sup_x sup_y F(x,y,x,y)\cong sup_y sup_xF(x,y,x,y)$であり、また仮定より各 $y$ に対して
$\sup_x F(x,y,x,y) \cong \inf_x F(x,y,x,y)$が成り立つので$sup_y sup_x F(x,y,x,y)\cong sup_y inf_xF(x,y,x,y)$となり、射の合成として$inf_x sup_y F(x,y,x,y)\to sup_y inf_x F(x,y,x,y)$が成り立つ。(証明終)
注。 命題9、10で見た(薄い)圏におけるエンドとコエンドの順序交換は、最適化理論における双対性やゲーム理論におけるフォン・ノイマンのミニマックス定理などと関連を持つ。命題9で示した射$supinf\to infsup$の存在 は、任意の関数(またはposet値)に対して$supinf\leq infsup$として常に成り立つ一般的事実である。これに対し、命題10で見た等号成立は一般には成り立たず、通常の解析理論では等号が成り立つために追加の構造(凸性、連続性、完全分配性など)が必要となる。