この広義積分の問題がどうしても解けなくて困ってます。

任意の $a$ に対して $f(x) = \dfrac{\sin^2 x}{1 + a^2 - 2a\cos x}$ が区間 $[0,\pi]$ 上連続であることは確認済みとします。

$|a| \neq 1$ と仮定します。計算量が多めにはなりますが（他のうまい方法が思いつけなかったので）定石どおり，

$$t = \tan\frac{x}{2},\quad \sin x = \frac{2t}{1 + t^2},\quad \cos x = \frac{1 - t^2}{1 + t^2}$$

とおいて，$f(x)$ を $t$ の有理式に直します。

$$\begin{aligned}\int f(x)dx &= \int \frac{\left(\frac{2t}{1 + t^2}\right)^2}{1 + a^2 - 2a\frac{1 - t^2}{1 + t^2}} \frac{dx}{dt} dt \\ &= 8 \int \frac{t^2}{((1 + a)^2 t^2 + (1 - a)^2)(t^2 + 1)^2} dt\end{aligned}$$

簡単のために $P = 1 + a,\, Q = 1 - a$ とおきます。$A,B,C$ を $t$ に関わらない定数とし，部分分数に分解して，有理関数の不定積分の公式（https://mecs.jp/SHIBAURA/calcwrec1/lecture8.pdf）を適用すると，

$$\begin{aligned}&\int f(x)dx \\&\quad = 8 \int \frac{t^2}{(P t^2 + Q^2)(t^2 + 1)^2}dt \\&\quad = 8 \int \left\{\frac{A}{P t^2 + Q^2} + \frac{B}{t^2 + 1} + \frac{C}{(t^2 + 1)^2}\right\}dt \\&\quad = 8 \left\{ \frac{A}{PQ} \tan^{-1} \left(\frac{P}{Q}t\right) + B \tan^{-1} t + \frac{C}{2} \left(\tan^{-1} t + \frac{t}{t^2 + 1}\right) \right\} + C'\end{aligned}$$

これで不定積分が求まりました。

定積分を求めます。$x$ が積分区間 $(0,\pi)$ を動くとき $t = \tan (x/2)$ は区間 $(0,+\infty)$ を動くので，

$$\begin{aligned}&\int_0^\pi f(x)dx \\&\quad = 8 \lim_{x \to +\infty} \left[ \frac{A}{PQ} \tan^{-1} \left(\frac{P}{Q}t\right) + B \tan^{-1} t + \frac{C}{2} \left(\tan^{-1} t + \frac{t}{t^2 + 1}\right) \right]_0^x\end{aligned}$$

$\tan^{-1} t \to \pi/2$，$t/(t^2 + 1) \to 0$ となること，また $\tan^{-1} (P/Q)t$ については $P/Q < 0$ ならば $\to -\pi/2$，$P/Q > 0$ ならば $\to \pi/2$ となることに注意して，

$$\begin{aligned}\int_0^\pi f(x)dx &= 4\pi \left[ \frac{A}{PQ}\mathrm{sgn}\left(\frac{P}{Q}\right) + B + \frac{C}{2} \right]\end{aligned}$$

ここで定数 $A,B,C$ を具体的に求めてみると

$$\begin{aligned} A &= \frac{-P^2Q^2}{(P^2 - Q^2)^2} = \frac{-(1 - a^2)^2}{16a^2},\\ B &= \frac{Q^2}{(P^2 - Q^2)^2} = \frac{(1 - a)^2}{16a^2},\\ C &= \frac{1}{P^2 - Q^2} = \frac{1}{4a}\end{aligned}$$

よって簡単な計算から，

$$\int_0^\pi f(x)dx = \begin{cases} \pi/(2a^2) & (P/Q < 0) \\ \pi/2 & (P/Q > 0)\end{cases}$$

ここで $P/Q < 0 \iff |a| > 1$，$P/Q > 0 \iff |a| < 1$ であることを考えると目的の結果がしたがいます。

$|a| = 1$ の場合については，$\{f_a(x)\}$ の一様収束性から

$$I(a) = \int_0^{\pi} f_a(x) dx$$

は $a = \pm 1$ で連続であり，上で得た結果から $I(\pm 1) = \pi/2$ がしたがいます。