相互情報量の意味とエントロピーとの関係

相互情報量の意味

式から分かるように，相互情報量は $X$ と $Y$ について対称です。

以下の２つの理由により，相互情報量は，$X$ と $Y$ の「依存度」を表す指標と考えることができます。

（理由１と理由２の証明は後述します）

理由１

$X$ と $Y$ が独立のとき，$I(X;Y)=0$ となります。そして，$I(X;Y)$ の最小値は $0$ です。つまり$X$ と $Y$ がある意味で最も依存していないときに，相互情報量は最小となります。

理由２

$X$ の分布を固定して $I(X;Y)$ の取りうる値について考えます。このとき，$Y$ の分布が $X$ の分布と同じである場合に，$I(X;Y)$ は最大値を達成します。つまり$X$ と $Y$ がある意味で最も依存しているときに，相互情報量は最大となります。

理由１の証明

• $X$ と $Y$ が独立のとき，$P_{X,Y}(x,y)=P_X(x)P_Y(y)$ なので，$I(X;Y)$ の定義式の $\log$ の中身は常に $1$ になります。よって，$I(X;Y)=0$ となります。

• $\sum p_k=\sum q_k=1$，$p_k,q_k$ が非負のとき，$\sum p_k\log\dfrac{p_k}{q_k}\geq 0$ が成立します（→補足）。この不等式を，$p_k\to P_{X,Y}(x,y)$$q_k\to P_X(x)P_Y(y)$ として使えば，相互情報量が非負であることが分かります。

補足

対数和不等式の証明と応用で紹介したギブスの不等式です。高校数学の範囲内で証明可能です。

理由２の証明

$X$ も $Y$ も同じ分布に従う場合，任意の $a\in D_X$ に対して $P_X(a)=P_Y(a)=P_{X,Y}(a,a)$ となるので，
$I(X;Y)=\displaystyle\sum_{x\in D_X}P_X(x)\log\dfrac{P_X(x)}{P_X(x)P_X(x)}\\ =-\displaystyle\sum_{x\in D_X}P_X(x)\log P_X(x)$

となります。これは，$X$ の平均情報量（エントロピー）$H(X)$ と呼ばれる量です。

また，$I(X;Y)\leq H(X)$ が成立します。以下で証明します。

$I(X;Y)=H(X)-H(X\mid Y)$

という等式は，「$X$ と $Y$ の依存度」は「$X$ のあいまいさ」と「$Y$ を知ったもとでの $X$ のあいまいさ」の差であると解釈できます。