ひとまず問題の状況をあらわすのに必要十分な個数のパラメータを導入してみると良いと思います。あとはパラメータを取り換えるときに同値性が守られればそれで良いです。
たとえば u=BP2 とおきます。
u の値が決まれば,三辺 PA=1,AB=3,BP=u が決まるので,△PAB が決定。また PQ=QB=1,BP=u が決まるので △PQB が決定します。逆に,u が決まらなければ △PAB,△PQB は決定しません。よって問題の状況を過不足なくあらわすのに必要なパラメータは u ひとつです。
ただし見かけ上のパラメータは 2 つでも 3 つでも構いません。パラメータを増やしたときは,増えすぎた自由度を減らすため,パラメータの間に関係式を導入することになります。
たとえば x=cos∠PAB,y=cos∠PQB とおきます。すると余弦定理から,
4−23x=u,2−2y=u。
u を消去して,
y=3x−1。
これがパラメータを u から x,y に取り換えたとき x,y の満たすべき関係式です。
パラメータを u から x,y に取り換えることで,「S(u)2+T(u)2 の値域を求めよ」という問題は,「束縛条件 y=3x−1 のもとで S(x,y)2+T(x,y)2 の値域を求めよ」という同値な問題に置き換わります。模範解答では後者の形の問題を解いていると見なせます。
パラメータの動きうる範囲については個別の問題ごとに吟味する他ないと思います。
いまの問題なら本質的なパラメータは u ひとつなので,u の値域が定まれば十分。u の下限となるのは P が AB 上にのる場合,u の上限となるのは P,Q,B が一直線上に並ぶ場合。よって(余弦定理から分かるように u=u(θ) は単調増加なので)0<θ<π/2 が得られます。