自信息的定义与分类
本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:information-theory】,需要的朋友们自取。
文章目录
自信息
信息量
如何考察或计算信源输出的消息(或者符号)的信息量?
- 信源的信息实质:不确定性(信源输出的是消息,消息的内涵是信息。信源输出一个符号,我们认为发生一个事件)。
- 数学上我们用概率(或概率密度)来表征事件不确定性的大小。
1.信息量的大小与不确定性的消除多少有关
收到某消息获得的信息量=不确定性的减少量=(收到该消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)
2.信道无噪声,收到某消息获得的信息量=收到该消息前关于某事件发生的不确定性=信源输出的某消息中所含的信息量。
3.概率小→不确定性大;概率大→不确定性小。
因此,某事件发生所含的信息量应该是该事件发生的先验概率的函数。
自信息定义
事件集合
中的事件
的自信息定义为
或记为:
注意 1 : 要求
非负. 所以对数的底数必须大于 1 .
- 底数为 2 , 单位为比特 (bit) ;
- 底数为
, 单位为奈特 (Nat);
- 底数为 10 , 单位为笛特(Det)。
1 bit =0.693 Nat =0.301 Det
注意2: I(x) 是随机变量.
自信息的含义:
- 在事件发生前, 自信息表示事件发生的不确定性。
- 在事件发生后, 自信息表示事件所包含的信息量, 是提供给信宿的信息量, 也是解除这种不确定性所需要的信息量
假设某个信源以概率p=0.25发出符号A,则A的自信息=2bit; 若某信源以概率p=0.01发出符号B,则B的自信息=
bit; 若某信源以概率p=0.99发出符号C,则C的自信息=
bit。
联合自信息
联合事件集合
中的事件
的自信息定义为
其中,
要满足非负和归一化的条件。
条件自信息
事件
在事件
给定条件下的自信息定义为
条件自信息的含义
- 在事件
给定条件下, 在
发生前的不确定性;
- 在事件
给定条件下, 在
发生后所得到的信息量。
Example 有8×8=64个方格,甲将一棋子放入方格中,让乙猜。 1、将方格顺序编号,让乙猜顺序号的难度程度如何? 2、将方格按行和列编号,当甲告诉乙方格的行号后,让乙猜列顺序号的难度如何?
解:两种情况的不确定性:
2.
参考文献:
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理(第3版)[M]. 北京:北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理(第7版) [M]. 北京:国防工业出版社, 2012.
相关文章
- R语言爬虫教程与实例操作:如何爬取基金与Pubmed网站信息
- 安恒信息应急演练实验室解决方案,打造沉浸式网络安全应急演练
- 人工智能知识图谱之信息抽取:基于Labelstudio的UIE半监督深度学习的智能标注方案(云端版),提效。
- 查看Linux系统的IP地址信息(获取linux的ip地址)
- 获取DHCP服务器的配置信息
- 如何修改Linux系统IP信息(修改linux系统ip)
- 使用>>符号在Linux中输出信息(linux中的符号)
- Neofetch:在终端中显示 Linux 系统信息
- 解读mysql执行信息,优化数据库性能(mysql_ 执行的信息)
- 使用redis同步多进程信息的实现方法(多进程通过redis同步)
- Oracle中如何查询用户信息(oracle中查询用户)
- 信息泄露,那些央视没报的“内鬼”