相互情報量の意味とエントロピーとの関係

• $X$ と $Y$ が独立のとき，$P_{X,Y}(x,y)=P_X(x)P_Y(y)$ なので，$I(X;Y)$ の定義式の $\log$ の中身は常に $1$ になります。よって，$I(X;Y)=0$ となります。

• $\sum p_k=\sum q_k=1$，$p_k,q_k$ が非負のとき，$\sum p_k\log\dfrac{p_k}{q_k}\geq 0$ が成立します（→補足）。この不等式を，$p_k\to P_{X,Y}(x,y)$$q_k\to P_X(x)P_Y(y)$ として使えば，相互情報量が非負であることが分かります。

$X$ も $Y$ も同じ分布に従う場合，任意の $a\in D_X$ に対して $P_X(a)=P_Y(a)=P_{X,Y}(a,a)$ となるので， $$\begin{aligned} I(X;Y) &= \sum_{x\in D_X}P_X(x)\log\dfrac{P_X(x)}{P_X(x)P_X(x)}\\ &= -\sum_{x\in D_X}P_X(x)\log P_X(x) \end{aligned}$$

となる。これは，$X$ の平均情報量（エントロピー）$H(X)$ と呼ばれる量である。

以下では，$I(X;Y)\leq H(X)$ を証明する。

$$\begin{aligned} H(X\mid Y) =-\displaystyle\sum_{y\in D_Y} P_Y(y)\sum_{x\in D_X} P_{X\mid Y}(x\mid y)\log P_{X\mid Y}(x\mid y) \end{aligned}$$

という量（条件付きエントロピーと呼ばれる）を導入する。

対数の中身が $1$ 以下であることに注意すると，$H(X\mid Y)\geq 0$ が分かる。

あとは，$I(X;Y)=H(X)-H(X\mid Y)$ を証明すれば，$I(X;Y)\leq H(X)$ が分かる。

実際，以下の２つの式から上の等式は分かる。

• $H(X)\\ =-\displaystyle\sum_{y\in Y}P_{Y\mid X}(y\mid x)\sum_{x\in X}P_X(x)\log P_X(x)\\ =\displaystyle\sum_{x\in X}\sum_{y\in Y}P_{X,Y}(x,y)\log\dfrac{1}{P_X(x)}$

• $-H(X\mid Y)\\ =\displaystyle\sum_{x\in D_X}\sum_{y\in D_Y}P_Y(y)P_{X\mid Y}(x\mid y)\log P_{X\mid Y}(x\mid y)\\ =\displaystyle\sum_{x\in D_X}\sum_{y\in D_Y}P_{X,Y}(x,y)\log \dfrac{P_{X,Y}(x,y)}{P_Y(y)}$