マルコフの不等式とその証明

マルコフの不等式(Markov's inequality)

任意の確率変数 XXa>0a > 0 に対して(期待値 E[X]E[|X|] が存在するとき), P(Xa)E[X]aP(|X|\geq a)\leq\dfrac{E[|X|]}{a}

確率論における基本的な不等式であるマルコフの不等式を紹介します。

マルコフの不等式の意味

P(Xa)P(|X|\geq a)XX の絶対値が aa 以上となる確率を表します。E[X]E[|X|]X|X| の期待値です。

つまりマルコフの不等式 P(Xa)E[X]aP(|X|\geq a)\leq\dfrac{E[|X|]}{a} は,X|X| の期待値が大きくなければ X|X| が大きくなる確率はそんなに高くないことを表しています。

また,k=aE[X]k=\dfrac{a}{E[|X|]} とおくと,P(XkE[X])1kP(|X|\geq kE[|X|])\leq \dfrac{1}{k} となります。

つまり,マルコフの不等式は 平均の kk 倍を越える確率が 1k\dfrac{1}{k} 以下であることを意味しています。感覚が鋭い人にとっては当たり前に思える結果です。

離散型の場合の証明

XX が離散型確率変数の場合にマルコフの不等式を証明します。

方針

「期待値に効いてくるのは絶対値の大きいところだけ」という大雑把な感覚にもとづいて原点付近をバッサリ切り捨てます。

証明

E(X)=xxP(X=x)x:xaxP(X=x)x:xaaP(X=x)=aP(Xa)E(|X|)=\displaystyle\sum_{x}|x|P(X=x)\\ \geq\displaystyle\sum_{x:|x|\geq a}|x|P(X=x)\\ \geq\displaystyle\sum_{x:|x|\geq a}aP(X=x)\\ =aP(|X|\geq a)

なお,2行目では和を取る区間を xa|x|\geq a の部分に制限している。和の各項は非負なので制限すると値は小さくなる(大きくはならない)。

連続型の場合の証明

XX が連続型確率変数の場合にも証明しておきます。確率論では離散型の場合の議論でシグマをインテグラルに変えれば連続型にも通用することが多いです。逆も然りです。

連続型確率変数の期待値を扱うには確率密度関数の知識が必要になります。→確率密度関数の意味と具体例

証明

E[X]=xf(x)dxaxf(x)dx+axf(x)dxaaf(x)dx+aaf(x)dx=aP(Xa)+aP(Xa)=aP(Xa)E[|X|]=\displaystyle\int_{-\infty}^{\infty}|x|f(x)dx\\ \geq \displaystyle\int_{-\infty}^{-a}|x|f(x)dx+\int_{a}^{\infty}|x|f(x)dx\\ \geq a\displaystyle\int_{-\infty}^{-a}f(x)dx+a\int_{a}^{\infty}f(x)dx\\ =aP(X\leq -a)+aP(X\geq a)\\ =aP(|X|\geq a)

以上の証明から分かるように,マルコフの不等式の評価はかなり大雑把です。

応用

マルコフの不等式において aaa2a^2XX(Xμ)2(X-\mu)^2 とおき,P(Xμ2a2)=P(Xμa)P(|X-\mu|^2\geq a^2)=P(|X-\mu|\geq a) であることを利用すると,以下が導けます:

P(Xμa)E(Xμ2)a2P(|X-\mu|\geq a)\leq \dfrac{E(|X-\mu|^2)}{a^2}

これはチェビシェフの不等式と呼ばれる非常に有名な不等式です。大数の弱法則の証明,平均収束→確率収束の証明,などのさらに発展的な定理の証明にも使われます。

確率論の不等式もおもしろいですが,個人的には確率関係ない対称な不等式の方が好きです。