因数分解の問題がわからないので教えてください。

展開して、aについてまとめると以下のような式になります。

$$a^3+(b^2-b)a^2+(2b-b^2)a+(b^3+1)$$

そして、この式を因数分解が確実にできるものとして考えると、

$$(a+p)(a^2+qa+r)$$

で表されると考えられます。

この先を展開すると、

$$(a+p)(a^2+qa+r)=a^3+(p+q)a^2+(pq+r)a+pr$$

と表さられ、それぞれ

$$p+q=b^2-bpq+r=2b-b^2pr=b^3+1$$

と書けます。また、

$$b^3+1=(b+1)(b^2-b+1)$$

となるため、

$p,r$は$b+1$か$b^2-b+1$のどちらかでしょう。

それぞれ試してみると、正解は$p=b^2-b+1,r=b+1$のときでした。

あとは、計算していけば

$$(a^2-a+b+1)(b^2-b+a+1)$$

となります。