数オリのテクニック〜Vieta jumping〜

$a=b$ の場合は $\dfrac{a^2+b^2}{ab+1}$ が整数となるのは $a=b=1$ の場合のみで，その値は $1$ となり主張は正しい。よって，以下 $a\neq b$ で考える。

平方数でない $n$ を固定して不定方程式 $a^2+b^2=n(ab+1)\:$ （ただし $a,\;b,\:n$ は正の整数で $a\neq b$）が解を持たないことを証明すればよい。

不定方程式の対称性より，変数を交換しても解となるので $(a,b)$ が解なら $(b,a)$ も解。よって，もし $a\neq b$ なる解が存在するなら $a > b$ なる解が存在する。したがって，$a > b$ なる解が存在すると仮定して矛盾を証明すれば $a\neq b$ なる解の存在が否定される。

よって，解 $(a,b)$ が存在すると仮定すると，解はいくつかあるかもしれないが， $a > b$ なる解 $(a,b)$ の中で $a$ が最小であるようなもの（※）を持ってこれる。これを $(a_0,b_0)$ とおく。$(a_0,b_0)$ が不定方程式を満たすなら，$a_0$ は $$x^2-nb_0x+b_0^2-n=0$$ の解である。よって，解と係数の関係より $c_0=nb_0-a_0$ とおくと，$c_0$ もこの二次方程式の解である。よって，$(c_0,b_0)$ ももとの不定方程式の解である。そして，$c_0$ は整数である。また，不定方程式の対称性より $(b_0,c_0)$ も解である。

あとは，$b_0 > c_0$ かつ $c_0 > 0$ を証明すれば， $(b_0,c_0)$ という解の存在により $a_0$ の最小性（上記の※）に矛盾するので目標の主張が証明される。

• $b_0 > c_0$ について，$a_0c_0=b_0^2-n$ より $a_0c_0 <b_0^2$ 。これと $a_0 > b_0$ より $b_0 > c_0$ 。
• $c_0 > 0$ について，$c_0=0$ と仮定すると，$b_0^2=n$ となり $n$ が平方数でないことに矛盾。$c_0 <0$ と仮定すると，不定方程式の左辺：$c_0^2-nb_0c_0+b_0^2-n \geq c_0^2+n+b_0^2-n > 0$ となり $(b_0,c_0)$ が解であることに矛盾。