信息论第二讲

来源:互联网 编辑:李元芳 手机版

2.1.3 联合熵与条件熵

在上一节中,我们定义了一个随机变量X的熵,现在把它推广到两个随机变量的情况。

在学习概率理论的时候,我们已经知道事件x i和事件y j同时出现的可能性可以用联合概率p (xi , y j)来描述,因此联合事件集合的不确定性也必然和联合概率分布有关。

定义2.3 对于服从联合分布P (X,Y)的一对随机变量X,Y,其联合熵定义为:

(2-8)

如果把 (X,Y ) 看作矢量随机变量,联合熵的定义和一个随机变量的情况就完全相同了,在形式上没有新的东西。

在图2-2最简单的通信模型中,尽管 干扰

信源发出的消息是x i ,但是由于信道中

存在着干扰信号,信宿接收到的却是yi 。

现在要问,如果已知信宿收到的是yi,那 图2-2 有干扰的通信模型

么信源发出x i的信息量是多少?显然,这

是需要用条件概率来描述的。

定义2.4 在已发生yj的条件下,随机事件xi的条件概率为P (x i | y j ),则x i的出现所带来的信息量被称为它的条件自信息量,表示为:

(2-9)

类似地,

(2-10)

我们知道,条件概率是后验概率,式(2-9)所反映的是收到yj后所能获得的信源发出xi的信息量,所以条件自信息量里包含了信道的特性。如果在给定条件y下考虑集合X的总体信息测度,则有

(2-11)

对于整个Y集合,有

(2-12)

注意,在式(2-11)和 (2-12)中,我们把大写的概率符号P换成了小写的p,表示概率密度函数。

定义2.5 对于联合随机事件集合XY,在给定Y的条件下,X的条件熵定义为条件自信息量I (x i | y j )在联合集合中的加权平均

= (2-13)

注意条件熵依然是统计平均意义上的概念,因此H (xi | y j )是没有意义的。

在通信问题中,条件熵描述信道的特性,例如在存在干扰的情况下,信宿收到某一符号y j后所获得的关于信源发出x i的信息量是与信道有关的。H (X | Y )表示收到Y后对X的不确定度,所以又叫疑义度,表示发出X以后,对将收到的Y的不确定程度,而这个不确定是由信道中噪声造成的,所以又叫噪声熵。

推论 对于联合随机事件集合,有

(2-14)

证明:

在这个式子中,等号左边表示在已知Z的条件下,对X和Y的不确定度,等号右边第一项表示在已知Z的条件下,对X的不确定度,第二项表示在已知X和Z的情况下,对Y的不确定度。这个推论的证明作为作业供同学们练习。

例2.5 设X,Y服从如下图的联合分布,求联合熵、条件熵

Y X

1

2

3

4

1

1/8

1/16

1/32

1/32

2

1/16

1/8

1/32

1/32

3

1/16

1/16

1/16

1/16

4

1/4

0

0

0

解:X的边际分布为(1/2,1/4,1/8,1/8), 表2-1 例题2.5的已知条件

Y的边际分布为(1/4,1/4,1/4,1/4),因此,

(比特), (比特)。

(比特)

同样可以得到H (Y | X) = 13/8比特,H (X,Y)=27/8比特。

从上例可以看到,一般情况下H (Y | X ) H (X | Y ),但是却有H ( X ) - H (X | Y ) = H ( Y ) - H (Y | X ),这个性质留到后边讨论。

例2.6 设M是披露提拔干部的秘密信息,李军、王标、张喜和刘莉都有可能。开始以为他们的机会相等,后来知道选拔女干部的可能性为1/2。令S表示获选人的性别消息,计算H(M)和H(M | S)。

解 如果四个人的机会相等,则(比特)。显然,用两比特编码,即用00,01,10,11分别代表李军、王标、张喜和刘莉,给出其中任一个两比特码都明确表达了选拔干部的情况。在注意提拔女干部的前提下,应该计算条件熵:

[P(张|男)logP(张|男)+P(王|男)logP(王|男)

虽然计算结果是0.792比特,实际编码却只能用整数,即需要1比特。确定性别消息后,消息的发布需要不同的比特数,如果S=女,则不用再发布任何消息都说明刘莉当选;如果S=男,仍需要两比特编码,平均结果为0.792比特。

在定义了联合熵与条件熵以后,让我们看一看它们之间的关系。这可以由下面的定理表述。

定理2.1

(2-15)

(2-16)

证明

同理可证

在式(2-15)中,等号右边第一项表示对事件的不确定度,第二项是在已知的情况下对事件的不确定度,所以它们之和是对联合事件的不确定程度。这个定理是熵的链式法则的特例,链式法则的一般形式在下一节里讨论。

特别地,当X与Y互相独立时,由于,可得:

(2-17)

2.1.4 互信息与条件互信息

回忆一下条件自信息量的概念,它是事件y j已经发生的情况下,事件x i再出现所带来的自信息量。如果我们问事件y j的出现本身给我们带来多少关于x i的信息,该如何计算呢?这就是本节讨论的互信息要解决的问题。

定义2.6 对两个随机事件集合X和Y,事件y j的出现给出关于事件x i的信息量叫做事件的互信息量,用符号表示。

为了导出互信息量的表达式,先考虑没有干扰的通信。这时,一定有,即。当信道中存在干扰时,收到的可能是的变形,即接收者不仅收到了信源发出的信息,还收到了干扰“充当”的信息。换句话说,只收到而没收到所得到的关于x i的信息(互信息),加上在已收到y j的情况下又收到x i所得到x i的信息(条件自信息) 应该等于x i的自信息量,即

也就是:

(2-18)

上式第一个等号说明,互信息量等于自信息量减去条件自信息量。为了更清楚地说明这个关系,让我们举一个简单的例子:小王()和小李()要向某人汇报自己的情况。在小李到达之前,小王不仅谈了自己的情况,也顺便介绍了小李的一些情况,当小李到达以后,他又补充了自己的情况,于是听汇报的人就了解了小李的全部情况

根据条件概率公式P (x | y) P (y) = P (xy),也可以把互信息写成:

(2-19)

这就是说,一对随机事件,y j同时出现所提供的自信息量,等于和y j各自的自信息量之和减去它们间的互信息量。

互信息具有如下性质:

1、对称性—带来的关于的互信息量总是等于带来的关于的互信息量,

(2-20)

对称性的证明很容易,留给大家作为练习。

2、实值性—互信息量总是实数。

从式(2-18)可以看出,由于后验概率与先验概率的比值可能大于、等于或小于1,互信息量的值就可能大于、等于或小于0,但总是一个实数。特别地,当时,,说明收到就可以完全消除对信源是否发出的不确定度,这对应着无干扰通信的情况。

3、有界性—互信息量不大于任一事件的自信息量,即

(2-21)

同理,。这条性质说明,某一事件的自信息量是任何其它事件所能提供的关于该事件的最大信息量。

例2.7 我们能从星球大战估计出某新生儿的性别吗?

解 我们分别用代表星球大战和某新生儿的性别,它们的概率是P (x)和P (y),现在求它们间的互信息

因为两个事件互相独立,从其中任一个事件都不能得到另一事件的任何信息,互信息量等于0是合理的。

把互信息量的概念扩展到三维空间,可以定义条件互信息量。

设有三维空间的事件集XYZ,联合事件y j z k发生后,我们能获取多少关于事件x i的信息呢?可以把y j z k看成一个事件,然后用互信息的概念解决问题。

(2-22)

式中第二项是在给定z k条件下,x i与y j之间的互信息,叫做条件互信息。

条件互信息与条件自信息之间存在一定的关系,即条件互信息可以用条件自信息表示。例如:

(2-23)

再由互信息的对称性,可得

(2-24)

信息论第四讲.doc

信息论第四讲 - 2.2 重要定理 2.2.1 链式法则 从定理 2.1 ,我们...[本文更多相关]

第二讲 信息 符号 与讯息.doc

第二讲 信息 符号 与讯息 - 第二讲 信息 符号 与讯息 I、信息 信息是两次不确定性之差,或者说,信息是能够减少或消除不确定性的东西。 信息是传播的客体,是......[本文更多相关]

信息论第五讲.doc

信息论第五讲 - 2.2.4 费诺(Fano)不等式 我们曾借助于前已给出的通信...[本文更多相关]

信息论与编码第二章.doc

信息论与编码第二章 - 第二章 信源与信息熵 第二章 信源与信息熵(第二讲) (...[本文更多相关]

第十讲 解题信息论.doc

29页 2财富值如要投诉违规内容,请到百度文库投诉中心;如要提出功能问题或意见建议,请点击此处进行反馈。 第十讲 解题信息论 解题信息论解题信息论隐藏>> 解题信息......[本文更多相关]

信息论 复习题目(2017).doc

信息论 复习题目(2017) - 信息论复习提纲(2017) 第一章 绪论 1....[本文更多相关]

信息论讲义第6章.doc

信息论讲义(2讲) 88页 免费 信息论讲义-第四章 58页 5财富值 信息论讲义(4讲) 75页 免费 信息论讲义(1讲) 101页 免费 信息论讲义_第二讲 69页 5财富......[本文更多相关]

信息论与编码复习题目(2016).doc

信息论与编码复习题目(2016) - 信息论复习提纲 第一章 绪论 1. 通信系...[本文更多相关]

《走进信息化教育》笔记(2).doc

《走进信息化教育》笔记(2) - 第二讲 知识目录 教育技术学理论基础 教育技术学的信息论基础(教育传播学) 教育传播模式 教育传播系统组成 教育传播理论在教学中的......[本文更多相关]

第二讲.ppt.Convertor.doc

第二讲.ppt.Convertor - 第二讲 辩证唯物主义的发展 1 内容提要...[本文更多相关]

信息论与编码教案汇总.doc

信息论与编码教案汇总 - 赣南师范学院物理与电子信息工程学院 教 案 授课教师:...[本文更多相关]

西安电子科技大学信息论与编码理论讲义.doc

西安电子科技大学信息论与编码理论讲义 - 《信讲 息义 论》 204 教研室 2005 年 11 月 主要内容: 第一章 绪论 第二章 离散信源及其信息测度 第三章 离散......[本文更多相关]

第二讲研究设计.doc

第二讲研究设计 - 第二讲 研究设计 第一节 选择课题 ??选择和确定研究课题是...[本文更多相关]

信息论与编码知识点分布.doc

信息论与编码知识点分布 - 信息论与编码知识点分布 注: (1)复习过程中参考如...[本文更多相关]

信息论与编码实验报告讲解.doc

信息论与编码实验报告讲解 - 信息论与编码实验报告 实验课程名称 : 赫夫曼编码...[本文更多相关]

030732004《信息论基础》教学大纲.doc

030732004《信息论基础》教学大纲 - 《信息论基础》课程教学大纲 课程代...[本文更多相关]

第二讲:提高数据处理能力动员报告.doc

第二讲:提高数据处理能力动员报告 - 南开大学数学建模课课件,第二讲... 第二讲:提高数据处理能力动员报告_理学_高等...不是吗?信息论,信号学,数值代数,概率统计,......[本文更多相关]

第5讲信息熵课件.doc

第5讲信息熵课件 - 第 5 讲 随机变量的信息熵 在概率论和统计学中,随机变量...[本文更多相关]

《信息论与编码技术》课程中平均互信息的教学探讨.doc

2014 年第 28 期 摘要:平均互信息是信息论与编码...因此,在课堂教学中...[本文更多相关]

第二讲:提高数据处理能力动员报告.doc

复杂网络第二讲 43页 免费 如何培养学生的数据分析能... 9页 1财富值如要投诉...信息论,信号学,数值代数,概率统计,机器学习, 计算机软件,图像处理,数据挖掘等等......[本文更多相关]

密码学的数学原理.txt

在第二次世界大战中,日本军方的密码设计就很成问题。美军破获了日本很多...对我方的所知没有任何增加,用信息论的专业术语讲,就是信息量没有增加......[本文更多相关]

试评李亚辉“唯信息论”:从动力学到热力学的世界.txt

试评李亚辉“唯信息论”:从动力学到热力学的世界....这个假设并不违反动力学,但本质上讲,动力学并不能...一种情况,百分百的必然,第二种是稳定性的表达。 ......[本文更多相关]

传播学笔记.txt

传播学笔记 - 第一讲 传播,与传播学 I、什么是传播? 傳播 Communication ▲...... ▲信息论、控制论、系统论中,熵是无序状态的量度,而信息就是一种负熵。二......[本文更多相关]

第一章课后习题与答案.txt

第一章课后习题与答案 - 第一章课后习题与答案 1 什么是信息?信息有何主要特征? 答:从广义上讲,信息是人类一切生存活动和自然存在所传达的信号和消息,是人类......[本文更多相关]

2010年教师资格证考试中学教育心理学模拟试题.txt

他的教育心理学分为三部分∶第一部分讲人类的本性,第二部分讲学习心理,第三...50年代,程序教学和教学机器兴起,同时信息论的思想为许多心理学家所接受,这些成果......[本文更多相关]

我要做个优等生-思维特训教程.txt

思维科学认为,思维是人接受信息、存贮信息、加工信息以及输出信息的全活动过程,而且是概括地反映客观现实的过程,这是思维本质的信息论观点。 第二,从生理学上讲,......[本文更多相关]

CS理论介绍_信息与通信_工程科技_专业资料.txt

1948年信息论的创始人C.E.香农对这一定理加以明确...在我开始讲“压缩感知”这个新故事之前,必须先快速...第二个问题是如何运用得到的30万测量数据来重建图像......[本文更多相关]

杭州电子科技大学通信工程学院导师联系方式.txt

专家,2001年入选浙江省高校中青年学科带头人,2004年入选浙江省“151人才”第二...长期从事无线通信与移动通信、信息论与编码、通信信号处理等方面的教学和科研工作......[本文更多相关]

[信息论第二讲]相关文章:

  • 信息论讲义_第二讲
  • 信息论讲义_第二讲
  • 信息论及其应用I-2010-第二讲
  • 信息论及其应用I-2010-第二讲
  • 第二章信息论
  • 第二章信息论
  • 信息论与编码第二讲
  • 信息论与编码第二讲
  • 信息论讲义第二讲
  • 信息论讲义第二讲
  • 信息论与编码讲义第二讲
  • 信息论与编码讲义第二讲
  • 现代密码学第二讲:密码学的信息论基础
  • 现代密码学第二讲:密码学的信息论基础
  • 北邮精品课程-现代密码学课件 现代密码学第二讲:密
  • 北邮精品课程-现代密码学课件 现代密码学第二讲:密
  • 信息论第二讲-离散信源的熵
  • 信息论第二讲-离散信源的熵
  • 信息论第二讲离散信源的熵
  • 信息论第二讲离散信源的熵
  • 信息论第二讲相关搜索
    最新推荐
    热门推荐