決定係数の定義と相関係数との関係

決定係数は，予測式（回帰式，回帰モデル）の精度を表す値です。

例えば，左側の図では，予測式がデータにうまく当てはまっているので決定係数が大きくなります（決定係数が $1$ に近くなります）。

右側の図では，予測式でデータをあまり説明できていないので，決定係数は小さくなります（決定係数が $0$ に近くなります）。

決定係数は $R^2$ という記号で表されることが多いです。

決定係数 $R^2$ の定義はいくつかありますが，以下の式で定義することが多いです：

$R^2=1-\dfrac{\sum_{i=1}^n(y_i-f(x_i))^2}{\sum_{i=1}^n(y_i-\mu_Y)^2}$

ただし，$(x_i,y_i)$ たちがデータ，$\mu_Y$ は $y_i$ の平均，$f(x)$ は予測式を表します。

第二項の分母は全変動と呼ばれ，データのそもそものばらつき具合を表します。分子は残差変動と呼ばれ，回帰モデルと実測値とのズレを表します。

決定係数が $1$ に近い

$\iff$ 残差変動が（全変動に比べて）小さい

$\iff$ よい予測式である

とみなせます。

決定係数のことを $R^2$ と書いていますが，これは必ずしも何かの二乗になるという意味ではありません。

あまりにひどいモデルを考えると，決定係数をマイナスにすることもできます。

しかし，単純に $f(x_i)=\mu_Y$ という定数関数（テキトーなモデル）を考えると決定係数は $R^2=0$ となります。つまり，決定係数がマイナスであるようなモデルはこのテキトーな定数関数にも負けるモデルということになり，考える意味はなさそうです。

つまり「もともとのデータの相関係数の絶対値が大きいほど最小二乗法による直線フィッティングの精度がよくなる」と言えます。

相関係数と決定係数は全く別の文脈で（それぞれが意味を持つように）定義された量なので，その両者の間に美しい関係があるというのは驚きです！

また，定理により（最小二乗法による直線フィッティングの場合は）決定係数が $0$ 以上 $1$ 以下の値を取ることも分かります。

※相関係数が $-1$ 以上 $1$ 以下になることの証明は，シュワルツの不等式を使ってできます：

詳細は相関係数の意味と6つの性質（範囲が-1以上1以下、など）参照。

定理の証明には以下の前提知識が必要となります。

• 最小二乗法による最適な直線 $f(x)=Ax+B$ において $\mu_Y=A\mu_X+B$，$A=\dfrac{\mathrm{Cov}(X,Y)}{\sigma_X^2}$ が成立する。 →最小二乗法（直線）の簡単な説明

• 「全変動ー残差変動＝回帰変動」 →全変動，回帰変動，残差変動の意味と関係

Tag:数学的モデリングまとめ（回帰分析）