ベイズの定理の基本的な解説

ベイズの定理

P(X)P(YX)=P(Y)P(XY)=P(XY)P(X)P(Y|X)=P(Y)P(X|Y)=P(X\cap Y)

条件付き確率とベイズの定理の基本的な話です。

条件付き確率とベイズの定理の意味

ベイズの定理のベン図

p(X)p(X) :事象 XX が起きる確率 =XU=\dfrac{|X|}{|U|}

P(YX)P(Y|X) :事象 XX が起きたもとで事象 YY が起きる確率(条件付き確率とも呼ばれます。詳しくは:条件付き確率の意味といろいろな例題 ) =AX=\dfrac{|A|}{|X|}

PX(Y)P_X(Y) と表記する流儀もあります。)

よって,「 XXYY も起きる確率」=「 XX が起きる確率」×「 XX が起きたもとで YY が起きる確率」なので,

P(XY)=P(X)P(YX)P(X\cap Y)=P(X)P(Y|X) 」が成立します。この公式は乗法公式とも呼ばれます。

(ベン図で表すと,AU=XUAX\dfrac{|A|}{|U|}=\dfrac{|X|}{|U|}\cdot\dfrac{|A|}{|X|} )

同様に YY 側から考えることで

P(XY)=P(Y)P(XY)P(X\cap Y)=P(Y)P(X|Y) が成立します。

(ベン図で表すと,AU=YUAY\dfrac{|A|}{|U|}=\dfrac{|Y|}{|U|}\cdot\dfrac{|A|}{|Y|} )

このように両側から考えることによって恒等式

P(X)P(YX)=P(Y)P(XY)P(X)P(Y|X)=P(Y)P(X|Y)

が成立することが分かります。これがベイズの定理です。

「ベイズの定理はベン図の両側から攻めて P(XY)P(X\cap Y) を2通りの方法で表したもの」とみなせます。

ベイズの定理

上記の等式より P(X),P(YX),P(Y),P(XY)P(X),P(Y|X),P(Y),P(X|Y) のうち3つが分かれば残りの1つが分かります。

多くの場合は P(X)P(X)P(Y)P(Y) でなく条件付き確率を求めるのが目的となるので,

P(YX)=P(Y)P(XY)P(X)P(Y|X)=\dfrac{P(Y)P(X|Y)}{P(X)}

の形で使うことが多いです。そのためこれをベイズの定理と呼ぶことも多いです。 →ベイズ推定の簡単な例と利点

この形で書いた時に,

P(Y)P(Y) を事前確率

P(YX)P(Y|X) を事後確率

と呼びます。 もともと YY が起きる確率は事前確率 P(Y)P(Y) であったが,XX が起きるという情報を得た元では事後確率 P(YX)P(Y|X) になる,というニュアンスです。

ベイズの定理の変形(離散型の場合)

事象 XX が起こるという条件のもとで,nn 種類の互いに排反な事象 Y1,Y2,...YnY_1,Y_2,...Y_n が起こると仮定します。この時,事象 XX が起こるという条件のもとで,事象 YkY_k が起こるという確率 P(YkX)P(Y_k|X) は,

P(YkX)=P(Yk)P(XYk)P(X) P(Y_k|X) = \dfrac{P(Y_k)P(X|Y_k)}{P(X)}

いま,Y1,Y2,...YnY_1,Y_2,...Y_n はそれぞれ互いに排反であるから,

P(X)=k=1nP(XYk) P(X) = \displaystyle \sum_{k=1}^{n} P(X \cap Y_k)

と表されます。確率の乗法公式より,

P(XYk)=P(Yk)P(XYk) P(X \cap Y_k) = P(Y_k)P(X|Y_k)

ですから,

P(YkX)=P(Yk)P(XYk)k=1nP(Yk)P(XYk) P(Y_k|X) = \dfrac{P(Y_k)P(X|Y_k)}{ \displaystyle \sum_{k=1}^{n} P(Y_k)P(X|Y_k)}

となります。

ベイズの定理の変形(連続型の場合)

詳しくは踏み込みませんが,連続型のベイズの定理の公式も紹介します。離散型の公式と形はほとんど同じです。

P(yx)=f(xy)π(y)yf(xy)π(y)dy P(y|x) = \dfrac{f(x|y) \pi(y)}{\int_y f(x|y) \pi(y) dy}

ここで,

  • π(y)\pi(y):事前分布
  • P(yx)P(y|x):事後分布
  • f(xy)f(x|y):尤度
  • yf(xy)π(y)dy\int_y f(x|y) \pi(y) dy:周辺尤度

ベイズの定理を用いる入試問題

ベイズの定理を用いる入試問題を探したけど見つかりませんでした,知っている方はご一報くださいm(__)m

ちなみに以下の問題をベイズの定理と応用例として紹介しているサイトが複数ありましたが,単純に条件付き確率の問題です。わざわざベイズの定理を持ち出す必要はありません。

大昔の早稲田の入試問題

5回に1回の割合で帽子を忘れるくせのあるK君が正月に ABCA,B,C の3軒を順に訪問して家に帰ったとき,帽子を忘れてきたことに気がついた。2軒目の家 BB に忘れてきた確率を求めよ。

解答

XX を帽子を忘れるという事象

YY を帽子を家 BB に忘れるという事象とする。

求める確率は P(YX)=P(XY)P(X)P(Y|X)=\dfrac{P(X\cap Y)}{P(X)}

(条件付き確率の定義)

P(X)P(X) は帽子をどこかに忘れる確率:

15+4515+454515=61125\dfrac{1}{5}+\dfrac{4}{5}\cdot\dfrac{1}{5}+\dfrac{4}{5}\cdot\dfrac{4}{5}\cdot\dfrac{1}{5}=\dfrac{61}{125}

P(XY)P(X\cap Y) は帽子を家 BB に忘れる確率:

4515=425\dfrac{4}{5}\cdot\dfrac{1}{5}=\dfrac{4}{25}

よって求める確率は

425÷61125=2061\dfrac{4}{25}÷\dfrac{61}{125}=\dfrac{20}{61}

なお,条件付き確率については条件付き確率の意味といろいろな例題もどうぞ。

ベイズの定理の統計学への応用はかなり奥が深いです。