極限の扱いには気を付けましょう.
$\mathbb{N} \times \mathbb{N}$を添え字集合とする$\mathbb{R}$上の点列を,2変数数列とよぶ.
以下,2変数数列は$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$のように書くことにします.
2変数数列$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$および$\alpha \in \mathbb{R}$が
$$ ^{\forall} \varepsilon \in \mathbb{R}_{>0};\; ^{\exists}N \in \mathbb{N};\; ^{\forall}k,\, l \in \mathbb{N};\; (k,\, l \ge N \implies |a_{k,\, l} - \alpha| < \varepsilon)$$
を満たすとき,$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$は$\alpha$に同時収束すると呼ぶことにする.
このことを,
$$ \lim_{k,\, l \to \infty} a_{k,\, l} = \alpha $$
と表す.
同時収束は一般的な用語ではなく,この記事独自の用語です(たぶん).
同時収束する2変数数列の例を1つ見てみましょう.
$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$を,
$$ a_{k,\, l} := \frac{1}{kl}$$
で定める.このとき,$\displaystyle \lim_{k,\, l \to \infty} a_{k,\, l} = 0$である.
なぜならば,$\varepsilon \in \mathbb{R}_{>0}$を1つ適当にとったとき,$N \in \mathbb{N}$を$N^2 > \dfrac{1}{\varepsilon}$となるように1つ取れば,$k,\, l \ge N$を満たす任意の$k,\, l \in \mathbb{N}$について,
$$ \left| \frac{1}{kl} \right| \le \left| \frac{1}{N^2} \right| < \varepsilon $$
が成立するからである.
片方の添え字について極限を飛ばしてからも片方の添え字について極限を飛ばす,という極限の取り方も考えられます.
ただし,この極限はあまり良い性質を持っていません.
以下では$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$は2変数数列とします.
まず,収束するかどうかは極限をとる順番によります.
$\displaystyle \lim_{k \to \infty} \lim_{l \to \infty}a_{k,\, l}$が収束するとき,$\displaystyle \lim_{l \to \infty} \lim_{k \to \infty} a_{k,\, l}$が収束するとは限らない.
$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$を
$$a_{k,\, l} := \frac{k}{l}$$
で定める.すると,
$$\begin{align} \lim_{k \to \infty} \lim_{l \to \infty} a_{k,\, l} &= \lim_{k \to \infty} 0 \\ &= 0\end{align}$$
が成立する一方で,
$$\lim_{l \to \infty} \lim_{k \to \infty} a_{k,\, l}$$
は収束しない.
さらに,両方の順番で収束したとしても,その極限が一致するとは限りません.
$\displaystyle \lim_{k \to \infty} \lim_{l \to \infty}a_{k,\, l}$と$\displaystyle \lim_{l \to \infty} \lim_{k \to \infty}a_{k,\, l}$がともに収束するとき,$\displaystyle \lim_{k \to \infty} \lim_{l \to \infty}a_{k,\, l} = \lim_{l \to \infty} \lim_{k \to \infty}a_{k,\, l}$とは限らない.
$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$を
$$a_{k,\, l} := \frac{k}{l + k}$$
で定める.すると,
$$\displaystyle \lim_{k \to \infty} \lim_{l \to \infty}a_{k,\, l} = 0$$
$$\displaystyle \lim_{l \to \infty} \lim_{k \to \infty}a_{k,\, l} = 1$$
である.
結論から述べてしまうと,これらの収束は特に関係ありません.
すなわち,どちらかの収束が強いということはありません.
$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$が同時収束するとき,$\displaystyle \lim_{k \to \infty} \lim_{l \to \infty}a_{k,\, l}$が収束するとは限らない.
$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$を
$$a_{k,\, l} := \frac{\sin l}{k}$$
で定める.$\varepsilon \in \mathbb{R}_{>0}$を任意にとり,$N \in \mathbb{N}$を$N > \dfrac{1}{\varepsilon}$となるように取れば,$k,\, l \ge N$なる任意の$k,\, l \in \mathbb{N}$に対し,
$$\begin{align} \left| \frac{\sin l}{k} \right| &\le \frac{1}{N} \\ &< \varepsilon \end{align}$$
が成立するので,$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$は0に同時収束する.
一方,各$k \in \mathbb{N}$に対し,$\displaystyle \lim_{l \to \infty} a_{k,\, l}$は収束しないので,そもそも$\displaystyle \lim_{k \to \infty} \lim_{l \to \infty}a_{k,\, l}$は意味を持たない.
$\displaystyle \lim_{k \to \infty} \lim_{l \to \infty}a_{k,\, l}$が収束するとき,$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$が同時収束するとは限らない.
$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$を
$$a_{k,\, l} := \delta_{k,\, l}$$
で定める.ただし$\delta$はDiracのデルタである.
このとき,
$$\lim_{k \to \infty} \lim_{l \to \infty}a_{k,\, l} = 0$$
が成立する.しかし,$\varepsilon = \dfrac{1}{2}$とし,$N \in \mathbb{N}$を任意にとると,
$$a_{N,\, N} = 1 \ge \varepsilon$$
となるので,$(a_{k,\, l})_{k,\, l \in \mathbb{N}}$は同時収束しない.
なお,「$\displaystyle \lim_{k \to \infty} \lim_{l \to \infty}a_{k,\, l}$と$\displaystyle \lim_{l \to \infty} \lim_{k \to \infty}a_{k,\, l}$が同じ値に収束する」と仮定したとしても同時収束は従いません.Diracのデルタはそのような例になっています.
極限の扱いには気を付けましょう.
間違いやご指摘等はコメント欄までお願いします.