受験界隈では有名なテクニックなのかもしれません。が、高校生の目線に立つと突拍子もないようにも見えますね。
勉強として、「こういうやり方もあるのか」と思って自分のストックに組み込むことは重要ですので、この方法もその意味で理解しておくと困らないと思います。ただ、この問題はもう少し泥臭く解くこともできます。
まず、条件より x1<0, y1<0 と x3>0, y3>0 が分かります。よって、
x1y1>0,x3y3>0
と分かるので、 x2, y2 が同符号ならば明らかに r>0 となります。どちらかが0となる場合も同様です。
よって x2, y2 が異符号のときだけ考えればよいですが、対称性より
x2>0, y2<0 のときだけ議論してあげれば十分でしょう。
このとき、
∣x1∣>∣x3∣,∣y1∣<∣y3∣
という不等式を得ることが出来ます。さて、
x1y1=∣x1∣∣y1∣,x3y3=∣x3∣∣y3∣
としても良いわけです。これを念頭に考えてみると、
x1y1 + x2y2 + x3y3 = ∣x1∣∣y1∣+x2y2+∣x3∣∣y3∣ >0
を示せばよいことに気づきます。ここで、先程の大小関係を使うと、
∣x1∣∣y1∣+x2y2+∣x3∣∣y3∣ > 2∣x3∣∣y1∣+x2y2 = 2∣x3∣∣y1∣−∣x2∣∣y2∣
と出来る訳ですが、 ∣x2∣ < ∣x3∣,∣y2∣ < ∣y1∣ を思い出せば最右辺は正にできます。
したがって、 r<0 は示せたことになりますね。
この方法は実験的で泥臭いですが、用いている発想はそこまで難しくなく試験でも浮かびやすいものだと思います。模範解答などはスマートなものが採用されることもありますが、本番ではある程度の泥臭さも必要なことがあります。
補足
最後の不等号は誤りです。 r>0 ですね。申し訳ない。