解答解説を見たところかなり天下り的な議論が多かったので, できるかぎり天下り的な議論を減らして解いた流れを残しておこうと思います.
$x=−1±2$なる実数 $x$ に対して関数 $f$ を次のように定めます.
$$f(x)=\frac{x^2−2x−1}{x^2+2x−1}$$
このとき,$1$ でない正の実数 $t$ が次の式を満たしました.ここで$f^{20}$は$f$を$20$回合成した関数を表します.
$$ f^{20}(t)=\frac{1+t}{1-t}$$このような $t$ としてありうる値すべてに対する,$t^2+\dfrac{1}{t^2}+2$の総積を求めてください.
初手で考えたいのは$f(x)$の形を$\dfrac{1+t}{1-t}$の形に寄せることができないかを考えると、分母分子を$x$で割ると
$$f(x)=\frac{x-\dfrac{1}{x}−2}{x-\dfrac{1}{x}+2} $$
となり, $g(x)=\dfrac{1}{2}(x-\dfrac{1}{x})$とおくと$f(x)=\dfrac{g(x)-1}{g(x)+1}$となり, 形としてはかなりうれしい状態になりました.
このとき, $f^{20}(x)$を考える必要があるので, $g(f(x))$ がどのようになるかを考えると,
\begin{align*}
g(f(x))&=\frac{1}{2}(\frac{x^2−2x−1}{x^2+2x−1}-\frac{x^2+2x−1}{x^2-2x−1})\\
&=\frac{1}{2}(\frac{g(x)-1}{g(x)+1}-\frac{g(x)+1}{g(x)−1})\\
&=\frac{1}{2}\cdot \frac{-4g(x)}{g(x)^2+1}\\
&=-2\cdot\frac{g(x)}{g(x)^2+1}
\end{align*}
以上より,
\begin{align*}
f^2(x)&=\frac{g(f(x))−1}{g(f(x))+1}\\
&=\frac{-2g(x)−(g(x)^2+1)}{-2g(x)+(g(x)^2+1)}\\
&=-\frac{g(x)-\dfrac{1}{g(x)}+2}{g(x)-\dfrac{1}{g(x)}-2}\\
&=-(\frac{g^2(x)-1}{g^2(x)+1})^{-1}\\
&=-\frac{1}{f(g^2(x))}
\end{align*}
となることから, 上の式を何度か使用することで, $f^{20}(x)=-\dfrac{1}{f(g^{20}(x))}$であることがわかる.したがって,求めるべき$t$は
\begin{align*}
-\frac{1}{f(g^{20}(t))}&=\frac{1+t}{1-t}\\
\frac{1+g^{20}(t)}{1-g^{20}(t)}&=\frac{1+t}{1-t}\\
g^{20}(t)&=t
\end{align*}
となります.
このとき$a_n=g^{n}(a_0)$と定義すると,
\begin{align*}
a_{n+1}&=\frac{1}{2}\cdot (a_n-\frac{1}{a_n})\\
&=-\frac{1-a_n^2}{2a_n}
\end{align*}
となり, $\tan$の二倍角の公式の形と一致するので, $a_n=\tan(\theta_n)$とすると
\begin{align*}
a_{n+1}&=-\frac{1-a_n^2}{2a_n}\\
\tan(\theta_{n+1})&=-\frac{1}{\tan(2\theta_n)}\\
\tan(\theta_{n+1})&=\tan(2\theta_n-\frac{\pi}{2})\\
\theta_{n+1}&=2\theta_n-\frac{\pi}{2}\\
\theta_{n}&=2^{n}(\theta_{0}-\frac{\pi}{2})+\frac{\pi}{2}
\end{align*}
となるので, $g^{20}(t)=t$は$\tan(2^{20}(\theta_{0}-\frac{\pi}{2})+\frac{\pi}{2})=\tan(\theta_{0})$ したがって, ある自然数$k$を用いて$2^{20}\theta_{0}+\frac{\pi}{2}=k\pi+\theta_{0}$ゆえに,
$$t=\tan(\theta_{0})=\tan(\dfrac{2k-1}{2(2^{20}-1)}\pi)(1\leq k \leq 2^{19}-1)$$
このとき,
\begin{align*}
t^2+\frac{1}{t^2}+2&=(\tan(\theta_0)+\frac{1}{\tan(\theta_0)})^2\\
&=(\frac{\sin(\theta_0)}{\cos(\theta_0)}+\frac{\cos(\theta_0)}{\sin(\theta_0)})^2\\
&=\frac{4}{(2\cos(\theta_0)\sin(\theta_0))^2}\\
&=\frac{4}{\sin(2\theta_0)^2}\\
\end{align*}
となるので, $N=2^{20}-1$とすると求めるべき総積は
\begin{align*}
\prod_{k=1}^{\frac{N-1}{2}}\frac{4}{\sin(\frac{2k-1}{N}\pi)^2}&=2^{N-1}\prod_{k=1}^{N-1}\frac{1}{\sin(\frac{k}{N}\pi)}\\
&=2^{N-1}\prod_{k=1}^{N-1}\frac{2i}{e^{\frac{k}{N}i\pi}-e^{-\frac{k}{N}i\pi}}\cdots(\ast) \\
&=2^{2(N-1)}i^{N-1}\prod_{k=1}^{N-1}e^{\frac{k}{N}i\pi}\cdot\frac{1}{e^{\frac{2k}{N}i\pi}-1}\\
&=2^{2(N-1)}\prod_{k=1}^{N-1}\frac{1}{e^{\frac{2k}{N}i\pi}-1}\cdots (1)\\
\end{align*}
($(\ast)$での式変形がやや不自然な感じがしますが, 三角関数のままだとどうしようもないので, 指数関数に変えてみるというモチベーションで変形しています.)
このとき, $e^{\frac{2k}{N}i\pi}-1(1\leq k \leq N-1)$は$(x+1)^N=1$の解から$x=0$を除いたものになるので, 与式の総積の部分は$\dfrac{((x+1)^N-1)}{x}=0$の定数項の部分と一致する($N$偶数であるので)よって$(1)$の値は$\dfrac{2^{2(N-1)}}{N}$となる.
もしわかりにくいところがあったのであれば, 教えていただけるとありがたいです.