最小二乗法（直線）の簡単な説明

• 2つセットのデータの組 $(x_i,y_i)$ が $n$ 個与えられた状況を考えます。そして $x_i$ と $y_i$ に直線的な関係があると推察できるときに，ある意味で一番もっともらしい直線を引くのが最小二乗法です。

• 例えば $i$ 番目の人の数学の点数が $x_i$ で物理の点数が $y_i$ という設定です。数学の点数が高いほど物理の点数が高そうです。直線的な関係を仮定すれば最小二乗法が使えます。

まずは，最小二乗法を適用した結果を述べます。

データ $(x_i,y_i)$ が $n$ 組与えられたときに，もっともらしい直線を以下の式で得ることができます！

ただし，

• $\mu_X,\sigma_X$ は $x_i$ たちの平均と標準偏差
• $\mu_Y$ は $y_i$ たちの平均
• $\mathrm{Cov}(X,Y)$ は共分散

です。この公式を理解していきましょう。以下では，

• 最小二乗法の計算例（実データでの直線の計算方法）
• 最小二乗法の導出（なぜ直線の式が上のように求まるのか）

についてそれぞれ説明します。

最小二乗法の例として，データの数が3つの場合（普通はもっとたくさんデータがありますが）にもっともらしい直線を求めてみます。

前提知識：

• 分散の意味と2通りの求め方・計算例
• 共分散の意味と簡単な求め方

直線フィッティングの複雑な式を導出します。考え方は非常に単純です。

もっともらしい直線の式を $y=Ax+B$ とおくと，$(x_i,y_i)$ とその直線との $y$ 方向の誤差（ズレ）は，$|y_i-Ax_i-B|$ です。 この誤差の二乗和が最小になるのが最もらしい直線であると考えるのが最小二乗法の流儀です。

つまり，$\sum (y_i-Ax_i-B)^2$ を最小化するような $A,\:B$ を求める問題となりました。変数が $A,B$ でそれ以外は定数である（データによって与えられている）ことに注意して下さい。

これは，二変数の二次関数で紹介したいずれの手法で解くこともできます。数式がやや複雑ですが，頑張って計算すると冒頭の直線フィッティングの式を得ます。

偏微分の方法でやってみます（読みとばしても構いません）。

最小二乗法による直線の式

傾き：$A=\dfrac{\mathrm{Cov}(X,Y)}{\sigma_X^2}$

切片：$B=\mu_Y-A\mu_X$

から，以下の性質が分かります。

• $A\mu_X+B=\mu_Y$ より，最小二乗法による直線は $(\mu_X,\mu_Y)$ を通ります。

• 共分散が正 $\iff$ 最小二乗法による直線の傾きが正であることが分かります。これにて「無相関なら（相関係数が $0$ なら）直線的な関係がない」という説明が数学的にきちんとできたことになります。→独立と無相関の意味と違いについて

• 物理実験でも最小二乗法は登場します。例えばあるバネのバネ定数を測りたいとき，フックの法則 $F=kx$ という直線的な関係があるので以下のように考えることができます： $x$ と $F$ の組をいくつか測ってプロットする。最小二乗法で直線を引いてその傾きが $k$ である。

• 最小二乗法を行列を用いて定式化することもできます。→最小二乗法の行列表現（単回帰，多変数，多項式）

Tag:数学的モデリングまとめ（回帰分析）