Y=$$-2x^2 + 2ax-5/4a^2+2a-1$$

$x$ に関する二次多項式 $ax^2+bx+c$ を $A(x+B)^2+C$ の形に変形することを平方完成と言います。

実際に式変形をすると

$$\begin{align*}ax^2+bx+c&=a\left(x^2+\dfrac{b}{a}x\right)+c\\&=\left\{\left(x+\dfrac{b}{2a}\right)^2-\left(\dfrac{b}{2a}\right)^2\right\}+c\\&=a\left(x+\dfrac{b}{2a}\right)^2-\dfrac{b^2-4ac}{4a}\end{align*}$$

こうなります。

計算手順としては

1. $x^2$ の係数 $a$ で $x^2,x$ の項を括る

2. 1で括ったかっこの中を$(x+B)^2$の形に式変形し，余分な部分を引く

3. 2で出てきた余分な部分と $c$ を計算する

となります。

あなたの質問に上げた2つの式のうち，1つ目は手順1～手順3を，2つ目は $x^2$ の係数が1なので手順2～手順3を行います。

平方完成で大事なのは「何の文字に対する平方完成を行うのか」と言うことです。

この2式の場合は(おそらく) $x$ における二次多項式なので，それ以外の文字はすべて定数として扱い， $ax^2+bx+c$ の形に整えてから平方完成を行います。