$|r|< 1$, $\alpha>-1/2$,また$\beta=\alpha,\alpha+1,2\alpha+1$のいずれかに対して,以下が成り立つ。
$$
\int_0^\pi\frac{\sin^{2\alpha}x}{(1-2r\cos x+r^2)^\beta}d x=
B(\alpha+1/2,1/2)\times
\begin{cases}
1 & \beta=\alpha \\
1/(1-r^2) &\beta=\alpha+1 \\
1/(1-r^2)^{2\alpha+1} &\beta=2\alpha+1
\end{cases}
\tag{1}\label{main}
$$
なお,
\begin{equation} \begin{split} B(\alpha+1/2,1/2)&=\frac{\Gamma(\alpha+1/2)\Gamma(1/2)}{\Gamma(\alpha+1)} \\ &=\frac{\Gamma(2\alpha+1)\Gamma(1/2)}{\Gamma(\alpha+1)2^{2\alpha}} \frac{\Gamma(1/2)}{\Gamma(\alpha+1)}\\ &=\frac{\pi}{2^{2\alpha}}\frac{\Gamma(2\alpha+1)}{\Gamma(\alpha+1)\Gamma(\alpha+1)}\\ &=\frac{\pi}{2^{2\alpha}}\binom{2\alpha}{\alpha}\quad\text{if } \alpha\in\mathbb{N} \end{split} \tag{2}\label{eq:beta} \end{equation}
である。$\alpha\in\mathbb{N}$, $\beta=\alpha+1$のケースが 積分botの数式 , 積分botの問題を解いてみた2 , 積分botの数式を漸化式で解く議論 で扱われている。 竹村彰通先生との共著論文 では,$\alpha>-1/2$で (\ref{main})において$\beta=\alpha$のケースを扱った。従って,(\ref{main})はこれらを含む統一的な結果である。もともとtwitterに 投稿 したのだが,Mathlog の方が興味を持つ人に直接届く気がして記事を書くことにする。
ところで(\ref{eq:beta})において,第2の等号はルジャンドルの倍数公式 (5.5.5) ,第3の等号は$\Gamma(1/2)=\sqrt{\pi}$ (5.4.6) を用いた。以上及び以下で,式番号$(\ell.m.n)$は NIST Digital Library of Mathematical Functions の公式番号である。
以下は(\ref{main})の証明である。2倍角の公式,半角の公式より
\begin{equation} \sin x=2\sin(x/2)\cos(x/2)\quad 1+\cos x=2\cos^2(x/2) \end{equation}
である。従って,
\begin{equation} \begin{split} \sin^{2\alpha}x&=2^{2\alpha}\sin^{2\alpha}(x/2)\cos^{2\alpha}(x/2) \\ 1-2r\cos x+r^2&= 1+2r+r^2-2r(1+\cos x)\\ &=(1+r)^2-4r\cos^2(x/2) \end{split} \end{equation}
を得る。よって
\begin{equation} \begin{split} \int_0^\pi\frac{\sin^{2\alpha}x}{(1-2r\cos x+r^2)^\beta}d x &= \frac{2^{2\alpha}}{(1+r)^{2\beta}} \int_0^\pi\frac{\sin^{2\alpha}(x/2)\cos^{2\alpha}(x/2)}{(1-4R\cos^2(x/2) )^\beta}d x \\ &= \frac{2^{2\alpha+1}}{(1+r)^{2\beta}} \int_0^{\pi/2}\frac{\sin^{2\alpha}x\cos^{2\alpha}x}{(1-4R\cos^2x )^\beta}d x \\ &= \frac{2^{2\alpha}}{(1+r)^{2\beta}} \int_0^1\frac{t^{\alpha-1/2}(1-t)^{\alpha-1/2}}{(1-4Rt)^\beta}d t \end{split} \end{equation}
である。ただし,$R=4r/(1+r)^2$である。ここまでの式変形は, 積分botの問題を解いてみた2 の追記に書かれたアイデアである(ただし,追記には複数のタイポがある)。
さらにこの記事のアイデアに基づき,超幾何関数
\begin{equation} F\left({a,b\atop c};z\right)= 1+\frac{ab}{c}z+\frac{a(a+1)b(b+1)}{c(c+1)2!}z^{2}+\cdots \end{equation}
を用いて
\begin{equation} \begin{split} &\frac{2^{2\alpha}}{(1+r)^{2\beta}} \int_0^1\frac{t^{\alpha-1/2}(1-t)^{\alpha-1/2}}{(1-4Rt)^\beta}d t \\ &=\frac{2^{2\alpha}B(\alpha+1/2,\alpha+1/2)}{(1+r)^{2\beta}} F\left({\beta,\alpha+1/2\atop 2\alpha+1};\frac{4r}{(1+r)^2}\right) \quad \text{ \href{https://dlmf.nist.gov/15.1}{(15.1.2)} \& \href{https://dlmf.nist.gov/15.6}{(15.6.1)}}\\ &=2^{2\alpha}B(\alpha+1/2,\alpha+1/2) F\left({\beta,\beta-\alpha\atop \alpha+1};r^2\right)\quad\text{\href{https://dlmf.nist.gov/15.8}{(15.8.21)}} \end{split}\tag{3}\label{hyper} \end{equation}
を得る。第2の等号は Bailey's transformation と呼ばれるらしい。さらに (\ref{hyper}) の最右辺で
\begin{equation} F\left({\beta,\beta-\alpha\atop \alpha+1};r^2\right) = \begin{cases} \displaystyle (1-r^2)^{\alpha-\beta} F\left({\alpha+1-\beta,\beta-\alpha\atop \alpha+1};\frac{r^2}{r^2-1}\right) \\ \displaystyle (1-r^2)^{-\beta}F\left({\beta,2\alpha+1-\beta\atop \alpha+1};\frac{r^2}{r^2-1}\right) \end{cases} \quad\text{\href{https://dlmf.nist.gov/15.8}{(15.8.1)}} \tag{4}\label{hyper.1} \end{equation}
である。(\ref{hyper}) の最右辺,及び (\ref{hyper.1}) で超幾何関数の分子の引数が$0$の場合を考えると,
\begin{equation} F\left({\beta,\beta-\alpha\atop \alpha+1};r^2\right)= \begin{cases} 1 & \beta=\alpha \\ (1-r^2)^{\alpha-\beta} & \beta=\alpha+1 \\ (1-r^2)^{-\beta} & \beta=2\alpha+1 \end{cases}\tag{5}\label{hyper.2} \end{equation}
を得る。さらに (\ref{hyper}) の最右辺の定数について
\begin{equation} \begin{split} & 2^{2\alpha}B(\alpha+1/2,\alpha+1/2)= 2^{2\alpha}\frac{\Gamma(\alpha+1/2)\Gamma(\alpha+1/2)}{\Gamma(2\alpha+1)} \\ &=\frac{2^{2\alpha}\Gamma(\alpha+1/2)\Gamma(\alpha+1/2)} {\pi^{-1/2}2^{2\alpha}\Gamma(\alpha+1/2)\Gamma(\alpha+1)}\\ &=\frac{\Gamma(\alpha+1/2)\Gamma(1/2)}{\Gamma(\alpha+1)}=B(\alpha+1/2,1/2) \end{split}\tag{6}\label{teisu} \end{equation}
である。第2の等号はルジャンドルの倍数公式 (5.5.5) ,第3の等号は$\Gamma(1/2)=\sqrt{\pi}$ (5.4.6) を用いた。(\ref{hyper}), (\ref{hyper.2}), (\ref{teisu})より (\ref{main}) が得られる。