$(x^2 + x + 1)^5$　という計算で、　$x(x+1)=X$　とおいて二項定理を用いて展開できると教科書に書いてあったのですが、よくわかりません。計算過程を教えてください。（二項定理自体は理解しています、、）

質問に回答するなら、$(x^2+x+1)^5 = (X+1)^5$ なのでこの右辺を二項定理で展開すればよいと思います。

ここからは余談ですが、二項定理の公式

$$\begin{aligned}(a+b)^n &= {}_n\mathrm{C}_0 a^n + {}_n\mathrm{C}_1 a^{n-1}b + {}_n\mathrm{C}_2 a^{n-2}b^2 + \cdots + {}_n\mathrm{C}_{n-1} ab^{n-1} + {}_n\mathrm{C}_n b^n \\&= \sum_{r=0}^{n} {}_n\mathrm{C}_r a^{n-r} b^{r}\end{aligned}$$

における ${}_n\mathrm{C}_r$ の意味はきっちり理解しておく方がよいと思います。

$(a+b)^n$ ということは、$(a+b)$ が $n$ 回かけられているということです。

これら $n$ 個のかっこをすべて展開したときの $a^{n-r}b^r$ の係数は、$n$ 個のかっこの中から $a$ を $n-r$ 個、$b$ を $r$ 個選ぶ組合せに等しくなります。

だから $a^{n-r}b^r$ の係数は ${}_n\mathrm{C}_r$ になります。

もちろんこれは３つの数の累乗の展開にも応用できます。

今回の場合だと、$(x^2+x+1)$ が $5$ 個あり、そこから $x^2$ と $x$ と $1$ をそれぞれ何個ずつ選べばよいかを考えると、係数は計算できます。

$X$ で置き直して考えるよりも簡単に求められると思いますし、何よりこの理屈をしっかり理解していれば二項定理の公式を丸暗記しなくてよいのがいいですね。

少し長くなりました。健闘を祈ります。