提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  其它

当前栏目

熵速率定义与各类熵的关系

定义 关系 各类 速率
2023-06-13 09:17:12 时间

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。

熵速率 (entropy rate)

定义：一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为

H=\lim _{n \rightarrow \infty} H(X_{n} \mid X_{1}, X_{2}, \ldots, X_{n-1})

具有记忆性的信源的熵速率定义为

H=\lim _{n \rightarrow \infty} \frac{1}{n} H\left(X_{1}, X_{2}, \ldots, X_{n}\right)

Example 两个二进制随机变量

\mathbf{X}

和

\mathbf{Y}

, 其联合分布为 p(X=Y=0) = p( X=0, Y=1) = p( X=Y=1) = 1/3 。 计算

H(X)

,

H(Y)

,

H(X \mid Y)

,

H(Y \mid X)

, and

H(X, Y)

。 Solution:

\begin{array}{l} p(X=0)=p(X=0, Y=0)+p(X=0, Y=1)=\frac{2}{3} \\ p(X=1)=p(X=1, Y=0)+p(X=1, Y=1)=\frac{1}{3} \\ p(Y=0)=p(X=0, Y=0)+p(X=1, Y=0)=\frac{1}{3} \\ p(Y=1)=p(X=0, Y=1)+p(X=1, Y=1)=\frac{2}{3} \\ H(X)=\frac{1}{3} \log 3+\frac{2}{3} \log \frac{3}{2}=0.9183 \quad H(Y)=\frac{1}{3} \log 3+\frac{2}{3} \log \frac{3}{2}=0.9183 \\ H(X, Y)=\sum_{i=1}^{n} p(X, Y) \log (X, Y)=\log 3=1.585 \\ H(X \mid Y)=H(X, Y)-H(Y)=0.6667 \quad H(Y \mid X)=H(X, Y)-H(X)=0.6667 \end{array}

各类熵的关系

  1. 条件熵不大于信息熵

熵的不增原理:

H(Y / X) \leq H(Y)
  1. 联合熵不大于个信息熵的和，即
H\left(X_{1} X_{2} \ldots X_N\right) \leq \sum_{i=1}^{N} H\left(X_{i}\right)

仅当各

X_{i}

相互独立时, 等号成立。

H(X Y)=H(X)+H(Y \mid X)=H(Y)+H(X \mid Y)
H(X) \geq H(X \mid Y) ; H(Y) \geq H(Y \mid X)

相关文章