信息论随笔（二）信息熵及其性质_资讯

创始人

2024-01-22 19:40:07

0次

回顾

上次讲到自信息量，也就是用 $log(\frac 1 p)$ 来表示一个发生概率为p的事件含有的信息量，或者说不确定度。一个事件的发生的概率越小，它的不确定度越大，含有的信息量也就越大。

信息熵

那么如何来衡量一个系统（多个事件以不同的概率发生，它们发生的概率之和为1）的信息量呢？

考虑这么一个例子，某人参加一个比赛，赢的概率为0.3，输的概率为0.7，那么这个系统的信息量怎么计算？

一个直觉的计算方法是： $0.3log(\frac 1 {0.3}) + 0.7log(\frac 1 {0.7})$ .

即对系统中不同事件的自信息量取概率平均，从而得到这个系统的平均不确定度，也就是信息熵。

信息熵衡量了一个系统的平均不确定度，表示了这个系统的信息量。

从通信的角度来看，信息熵表示平均意义上每发一个符号的信息量，或者信源平均的不确定度。

性质

对称性

信息熵的对称性指只要一个系统总的概率分布不变，即使系统中的不同事件的概率发生了交换，信息熵仍然不变。

非负性

信息熵总是大于等于零的。一个事件的信息量至少为0，而不可能是负的，信息熵是信息量的平均，自然也不会是负的。

确定性

若事件发生概率为1，那么信息熵确定为0。

连续性

当不同事件的概率出现微小变化时，信息熵的变化也很小。

扩展性

略

可加性

H(XY)=H(X)+H(Y|X)

强可加性

当系统X和Y独立，H(XY)=H(X)+H(Y)

喜欢穿一身黑的男生性格（喜欢穿... 今天百科达人给各位分享喜欢穿一身黑的男生性格的知识，其中也会对喜欢穿一身黑衣服的男人人好相处吗进行解...

发春是什么意思（思春和发春是什... 本篇文章极速百科给大家谈谈发春是什么意思，以及思春和发春是什么意思对应的知识点，希望对各位有所帮助，...

网络用语zl是什么意思（zl是... 今天给各位分享网络用语zl是什么意思的知识，其中也会对zl是啥意思是什么网络用语进行解释，如果能碰巧...

为什么酷狗音乐自己唱的歌不能下... 本篇文章极速百科小编给大家谈谈为什么酷狗音乐自己唱的歌不能下载到本地?，以及为什么酷狗下载的歌曲不是...

华为下载未安装的文件去哪找（华... 今天百科达人给各位分享华为下载未安装的文件去哪找的知识，其中也会对华为下载未安装的文件去哪找到进行解...

怎么往应用助手里添加应用（应用... 今天百科达人给各位分享怎么往应用助手里添加应用的知识，其中也会对应用助手怎么添加微信进行解释，如果能...

家里可以做假山养金鱼吗（假山能... 今天百科达人给各位分享家里可以做假山养金鱼吗的知识，其中也会对假山能放鱼缸里吗进行解释，如果能碰巧解...

四分五裂是什么生肖什么动物（四... 本篇文章极速百科小编给大家谈谈四分五裂是什么生肖什么动物，以及四分五裂打一生肖是什么对应的知识点，希...

一帆风顺二龙腾飞三阳开泰祝福语... 本篇文章极速百科给大家谈谈一帆风顺二龙腾飞三阳开泰祝福语，以及一帆风顺二龙腾飞三阳开泰祝福语结婚对应...

美团联名卡审核成功待激活（美团... 今天百科达人给各位分享美团联名卡审核成功待激活的知识，其中也会对美团联名卡审核未通过进行解释，如果能...