ベクトルについてです。

$\vec{a}=(a_x,a_y),vec{b}=(b_x,b_y)$とします。

$\vec{a}=\vec{OA},\vec{b}=\vec{OB}$となる点$O,A,B$をとると、

に余弦定理を適用出来て、

$$AB^2=OA^2+OB^2-2\cdot OA\cdot OB\cdot \cos \angle AOB$$

が成り立ちます。これに$\vec{a},\vec{b}$を代入すれば、

$$\tag{1}|\vec{b}-\vec{a}|^2=|\vec{a}|^2+|\vec{b}|^2-2\cdot |\vec{a}|\cdot|\vec{b}|\cdot \cos \angle AOB$$

ここで、$\vec{a}\cdot\vec{b}=|\vec{a}|\cdot|\vec{b}|\cdot \cos \angle AOB$なので、式$(1)$は

$$\tag{2}|\vec{b}-\vec{a}|^2=|\vec{a}|^2+|\vec{b}|^2-2\cdot \vec{a}\cdot\vec{b}$$

となります。

それでは成分で計算していきましょう。

$|\vec{a}|^2=a_x^2+a_y^2,|\vec{b}|^2=b_x^2+b_y^2,|\vec{b}-\vec{a}|^2=(b_x-a_x)^2+(b_y-a_x)^2$ですから、式$(2)$に代入して

$$(b_x-a_x)^2+(b_y-a_x)^2=(a_x^2+a_y^2)+(b_x^2+b_y^2)-2\cdot \vec{a}\cdot\vec{b}$$

式を変形して、

$$2\cdot \vec{a}\cdot\vec{b}=(a_x^2+a_y^2)+(b_x^2+b_y^2)-\{(b_x-a_x)^2+(b_y-a_x)^2\}$$

右辺を計算して、

$$2\cdot \vec{a}\cdot\vec{b}=2(a_x\cdot b_x)+2(a_y\cdot b_y)$$

両辺$2$で割って

$$\vec{a}\cdot\vec{b}=a_x\cdot b_x+a_y\cdot b_y$$

となります。

どうでしょうか。