点と直線の公式の分母は√がつきますね。そこで間違えている気がします。
この問題に対してですが、内心の座標を(X,Y)とおき、与えられた条件を満たすように代数的に解く…というのは悪手だと思います。数学的には正しいですが、同値性を保ったまま式変形をするにはかなり煩雑になります。私も途中で諦めました…。√を外すには2乗するしかありませんが、勝手に2乗すると同値性が崩れてしまいますよね。
答えとしては、
Y=2−X(1−X)X(2−X)
(だだし0≦X≦1)
になりました。
この問題は幾何で解くのが無難でしょう。三角形の内心を求めるということが1番の理由です。また、OとAが固定であること、動く点Pも半径1の円周上の点であることから、三角形の2辺の長さOAとOPが常に1であるということも解きやすくなる設定です。
1番楽に解けるのは、内心の位置ベクトルを使うやり方でしょうか。私は1番最初にこの解法が思い浮かびました。
いずれにせよ、数学の問題を解くにはいろいろなアプローチがあります。どうせなら楽に解ける方法を選べるように、解法・考え方を復習してみましょう。
暑さに負けず頑張ろう!応援してます!