信息论第二讲

来源:互联网 编辑:王志 手机版

2.1.3 联合熵与条件熵

在上一节中,我们定义了一个随机变量X的熵,现在把它推广到两个随机变量的情况。

在学习概率理论的时候,我们已经知道事件x i和事件y j同时出现的可能性可以用联合概率p (xi , y j)来描述,因此联合事件集合的不确定性也必然和联合概率分布有关。

定义2.3 对于服从联合分布P (X,Y)的一对随机变量X,Y,其联合熵定义为:

(2-8)

如果把 (X,Y ) 看作矢量随机变量,联合熵的定义和一个随机变量的情况就完全相同了,在形式上没有新的东西。

在图2-2最简单的通信模型中,尽管 干扰

信源发出的消息是x i ,但是由于信道中

存在着干扰信号,信宿接收到的却是yi 。

现在要问,如果已知信宿收到的是yi,那 图2-2 有干扰的通信模型

么信源发出x i的信息量是多少?显然,这

是需要用条件概率来描述的。

定义2.4 在已发生yj的条件下,随机事件xi的条件概率为P (x i | y j ),则x i的出现所带来的信息量被称为它的条件自信息量,表示为:

(2-9)

类似地,

(2-10)

我们知道,条件概率是后验概率,式(2-9)所反映的是收到yj后所能获得的信源发出xi的信息量,所以条件自信息量里包含了信道的特性。如果在给定条件y下考虑集合X的总体信息测度,则有

(2-11)

对于整个Y集合,有

(2-12)

注意,在式(2-11)和 (2-12)中,我们把大写的概率符号P换成了小写的p,表示概率密度函数。

定义2.5 对于联合随机事件集合XY,在给定Y的条件下,X的条件熵定义为条件自信息量I (x i | y j )在联合集合中的加权平均

= (2-13)

注意条件熵依然是统计平均意义上的概念,因此H (xi | y j )是没有意义的。

在通信问题中,条件熵描述信道的特性,例如在存在干扰的情况下,信宿收到某一符号y j后所获得的关于信源发出x i的信息量是与信道有关的。H (X | Y )表示收到Y后对X的不确定度,所以又叫疑义度,表示发出X以后,对将收到的Y的不确定程度,而这个不确定是由信道中噪声造成的,所以又叫噪声熵。

推论 对于联合随机事件集合,有

(2-14)

证明:

在这个式子中,等号左边表示在已知Z的条件下,对X和Y的不确定度,等号右边第一项表示在已知Z的条件下,对X的不确定度,第二项表示在已知X和Z的情况下,对Y的不确定度。这个推论的证明作为作业供同学们练习。

例2.5 设X,Y服从如下图的联合分布,求联合熵、条件熵

Y X

1

2

3

4

1

1/8

1/16

1/32

1/32

2

1/16

1/8

1/32

1/32

3

1/16

1/16

1/16

1/16

4

1/4

0

0

0

解:X的边际分布为(1/2,1/4,1/8,1/8), 表2-1 例题2.5的已知条件

Y的边际分布为(1/4,1/4,1/4,1/4),因此,

(比特), (比特)。

(比特)

同样可以得到H (Y | X) = 13/8比特,H (X,Y)=27/8比特。

从上例可以看到,一般情况下H (Y | X ) H (X | Y ),但是却有H ( X ) - H (X | Y ) = H ( Y ) - H (Y | X ),这个性质留到后边讨论。

例2.6 设M是披露提拔干部的秘密信息,李军、王标、张喜和刘莉都有可能。开始以为他们的机会相等,后来知道选拔女干部的可能性为1/2。令S表示获选人的性别消息,计算H(M)和H(M | S)。

解 如果四个人的机会相等,则(比特)。显然,用两比特编码,即用00,01,10,11分别代表李军、王标、张喜和刘莉,给出其中任一个两比特码都明确表达了选拔干部的情况。在注意提拔女干部的前提下,应该计算条件熵:

[P(张|男)logP(张|男)+P(王|男)logP(王|男)

虽然计算结果是0.792比特,实际编码却只能用整数,即需要1比特。确定性别消息后,消息的发布需要不同的比特数,如果S=女,则不用再发布任何消息都说明刘莉当选;如果S=男,仍需要两比特编码,平均结果为0.792比特。

在定义了联合熵与条件熵以后,让我们看一看它们之间的关系。这可以由下面的定理表述。

定理2.1

(2-15)

(2-16)

证明

同理可证

在式(2-15)中,等号右边第一项表示对事件的不确定度,第二项是在已知的情况下对事件的不确定度,所以它们之和是对联合事件的不确定程度。这个定理是熵的链式法则的特例,链式法则的一般形式在下一节里讨论。

特别地,当X与Y互相独立时,由于,可得:

(2-17)

2.1.4 互信息与条件互信息

回忆一下条件自信息量的概念,它是事件y j已经发生的情况下,事件x i再出现所带来的自信息量。如果我们问事件y j的出现本身给我们带来多少关于x i的信息,该如何计算呢?这就是本节讨论的互信息要解决的问题。

定义2.6 对两个随机事件集合X和Y,事件y j的出现给出关于事件x i的信息量叫做事件的互信息量,用符号表示。

为了导出互信息量的表达式,先考虑没有干扰的通信。这时,一定有,即。当信道中存在干扰时,收到的可能是的变形,即接收者不仅收到了信源发出的信息,还收到了干扰“充当”的信息。换句话说,只收到而没收到所得到的关于x i的信息(互信息),加上在已收到y j的情况下又收到x i所得到x i的信息(条件自信息) 应该等于x i的自信息量,即

也就是:

(2-18)

上式第一个等号说明,互信息量等于自信息量减去条件自信息量。为了更清楚地说明这个关系,让我们举一个简单的例子:小王()和小李()要向某人汇报自己的情况。在小李到达之前,小王不仅谈了自己的情况,也顺便介绍了小李的一些情况,当小李到达以后,他又补充了自己的情况,于是听汇报的人就了解了小李的全部情况

根据条件概率公式P (x | y) P (y) = P (xy),也可以把互信息写成:

(2-19)

这就是说,一对随机事件,y j同时出现所提供的自信息量,等于和y j各自的自信息量之和减去它们间的互信息量。

互信息具有如下性质:

1、对称性—带来的关于的互信息量总是等于带来的关于的互信息量,

(2-20)

对称性的证明很容易,留给大家作为练习。

2、实值性—互信息量总是实数。

从式(2-18)可以看出,由于后验概率与先验概率的比值可能大于、等于或小于1,互信息量的值就可能大于、等于或小于0,但总是一个实数。特别地,当时,,说明收到就可以完全消除对信源是否发出的不确定度,这对应着无干扰通信的情况。

3、有界性—互信息量不大于任一事件的自信息量,即

(2-21)

同理,。这条性质说明,某一事件的自信息量是任何其它事件所能提供的关于该事件的最大信息量。

例2.7 我们能从星球大战估计出某新生儿的性别吗?

解 我们分别用代表星球大战和某新生儿的性别,它们的概率是P (x)和P (y),现在求它们间的互信息

因为两个事件互相独立,从其中任一个事件都不能得到另一事件的任何信息,互信息量等于0是合理的。

把互信息量的概念扩展到三维空间,可以定义条件互信息量。

设有三维空间的事件集XYZ,联合事件y j z k发生后,我们能获取多少关于事件x i的信息呢?可以把y j z k看成一个事件,然后用互信息的概念解决问题。

(2-22)

式中第二项是在给定z k条件下,x i与y j之间的互信息,叫做条件互信息。

条件互信息与条件自信息之间存在一定的关系,即条件互信息可以用条件自信息表示。例如:

(2-23)

再由互信息的对称性,可得

(2-24)

10-11第二学期信息论作业题参考答案

10-11第二学期信息论作业题参考答案 - 1 第1讲 2、信息论创始人是谁? 香农。 3、信息和消息、信号有什么联系与区别? 从信息理论角度上看,信号是消息的载体...[本文更多相关]

小学生计算错误

2、重视运算法则教学 教师要讲清与运算有关的概念,...第一次感知的法则模 糊,算理不清,很容易在使用...4、进行及时的反馈和强化 按信息论的观点看,学生听...[本文更多相关]

政府信息资源

叙述形式或视听形式 信息资源已经成为第四种生产力...信息资 源的统称 老三论: 信息论 系统论 控制论...著录过程的结果使原始信息转换成“二次信息” 。...[本文更多相关]

河南科技大学结课论1

如 《侵权责任法》第四十七条规定,生产者、销售者存在故意,缺陷产品造成他人...1 /2 相关文档推荐 河南科技大学 信息论 暂无评价 4页 1下载券 概率论习题...[本文更多相关]

[信息论第二讲]相关文章:

  • 信息论讲义_第二讲
  • 信息论讲义_第二讲
  • 信息论及其应用I-2010-第二讲
  • 信息论及其应用I-2010-第二讲
  • 第二章信息论
  • 第二章信息论
  • 信息论与编码第二讲
  • 信息论与编码第二讲
  • 信息论讲义第二讲
  • 信息论讲义第二讲
  • 信息论与编码讲义第二讲
  • 信息论与编码讲义第二讲
  • 现代密码学第二讲:密码学的信息论基础
  • 现代密码学第二讲:密码学的信息论基础
  • 北邮精品课程-现代密码学课件 现代密码学第二讲:密
  • 北邮精品课程-现代密码学课件 现代密码学第二讲:密
  • 信息论第二讲-离散信源的熵
  • 信息论第二讲-离散信源的熵
  • 信息论第二讲离散信源的熵
  • 信息论第二讲离散信源的熵
  • 信息论第二讲相关搜索
    最新推荐
    热门推荐
    <上页热点Q热点106 114下页下页社会娱乐体育军事汽车财经科技育儿历史美食数码时尚宠物收藏家居心理文化三农健康科学游戏动漫教育职场旅游电影国际 知识100106 114 52 107 115 55 120 57 100z48 100z100 100z106 100z114 100z52 100z107 100z115 100z55 100z120 100z57 106z48 106z100 106z106 106z114 106z52 106z107 106z115 106z55 106z120 106z57 114z48 114z100 114z106 114z114 114z52 114z107 114z115 114z55 114z120 114z57 52z48 52z100 52z106 52z114 52z52 52z107 52z115 52z55 52z120 52z57 107z48 107z100 107z106 107z114 107z52 107z107 107z115 107z55 107z120 107z57 115z48 115z100 115z106 115z114 115z52 115z107 115z115 115z55 115z120 115z57 55z48 55z100 55z106 55z114 55z52 55z107 55z115 55z55 55z120 55z57 120z48 120z100 120z106 120z114 120z52 120z107 120z115 120z55 120z120 120z57 57z48 57z100 57z106 57z114 57z52 57z107 57z115suiji 106 114 52 107 115 55 120 57 100g48 100g100 100g106 100g114 100g52 100g107 100g115 100g55 100g120 100g57 106g48 106g100 106g106 106g114 106g52 106g107 106g115 106g55 106g120 106g57 114g48 114g100 114g106 114g114 114g52 114g107 114g115 114g55 114g120 114g57 52g48 52g100 52g106 52g114 52g52 52g107 52g115 52g55 52g120 52g57 107g48 107g100 107g106 107g114 107g52 107g107 107g115 107g55 107g120 107g57 115g48 115g100 115g106 115g114 115g52 115g107 115g115 115g55 115g120 115g57 55g48 55g100 55g106 55g114 55g52 55g107 55g115 55g55 55g120 55g57 120g48 120g100 120g106 120g114 120g52 120g107 120g115 120g55 120g120 120g57 57g48 57g100 57g106 57g114 57g52 57g107 57g115 57g55 57g120 57g57 100g48g48 100g48g100... 1000000new106 new114 new52 new107 new115 new55 new120 new57 new100g48 new100g100 new100g106 new100g114 new100g52 new100g107 new100g115 new100g55 new100g120 new100g57 new106g48 new106g100 new106g106 new106g114 new106g52 new106g107 new106g115 new106g55 new106g120 new106g57 new114g48 new114g100 new114g106 new114g114 new114g52 new114g107 new114g115 new114g55 new114g120 new114g57 new52g48 new52g100 new52g106 new52g114 new52g52 new52g107 new52g115 new52g55 new52g120 new52g57 new107g48 new107g100 new107g106 new107g114 new107g52 new107g107 new107g115 new107g55 new107g120 new107g57 new115g48 new115g100 new115g106 new115g114 new115g52 new115g107 new115g115 new115g55 new115g120 new115g57 new55g48 new55g100 new55g106 new55g114 new55g52 new55g107 new55g115 new55g55 new55g120 new55g57 new120g48 new120g100 new120g106 new120g114 new120g52 new120g107 new120g115 new120g55 new120g120 new120g57 new57g48 new57g100 new57g106 new57g114 new57g52 new57g107 new57g115 new57g55 new57g120 new57g57 new100g48g48 new100g48g100 下页>... new100g48g48g48g48g48g48g48top106 top114 top52 top107 top115 top55 top120 top57 top100g48 top100g100 top100g106 top100g114 top100g52 top100g107 top100g115 top100g55 top100g120 top100g57 top106g48 top106g100 top106g106 top106g114 top106g52 top106g107 top106g115 top106g55 top106g120 top106g57 top114g48 top114g100 top114g106 top114g114 top114g52 top114g107 top114g115 top114g55 top114g120 top114g57 top52g48 top52g100 top52g106 top52g114 top52g52 top52g107 top52g115 top52g55 top52g120 top52g57 top107g48 top107g100 top107g106 top107g114 top107g52 top107g107 top107g115 top107g55 top107g120 top107g57 top115g48 top115g100 top115g106 top115g114 top115g52 top115g107 top115g115 top115g55 top115g120 top115g57 top55g48 top55g100 top55g106 top55g114 top55g52 top55g107 top55g115 top55g55 top55g120 top55g57 top120g48 top120g100 top120g106 top120g114 top120g52 top120g107 top120g115 top120g55 top120g120 top120g57 top57g48 top57g100 top57g106 top57g114 top57g52 top57g107 top57g115 top57g55 top57g120 top57g57 top100g48g48 top100g48g100幼儿教育小学教育初中教育高中教育高等教育教学研究外语学习资格考试/认证成人教育职业教育IT/计算机经管营销医药卫生自然科学农林牧渔人文社科工程科技PPT模板PPT制作技巧求职/职场计划/解决方案总结/汇报党团工作工作范文表格/模板法律文书饮食游戏体育/运动音乐旅游购物娱乐时尚美容化妆家具家电社会民生影视/动漫保健养生随笔摄影摄像幽默滑稽人文社科法律资料军事/政治广告/传媒设计/艺术教育学/心理学社会学文化/宗教哲学/历史文学研究经管营销人力资源管理财务管理生产/经营管理企业管理公共/行政管理销售/营销金融/投资经济/市场工程科技信息与通信电子/电路建筑/土木城乡/园林规划环境/食品科学电力/水利交通运输能源/化工机械/仪表冶金/矿山/地质纺织/轻工业材料科学兵器/核科学IT/计算机互联网电脑基础知识软件及应用硬件及网络自然科学数学物理化学生物学天文/地理医药卫生临床医学基础医学预防医学中医中药药学农林牧渔农学林学畜牧兽医水产渔业求职/职场简历封面/模板求职/面试职业规划自我管理与提升计划/解决方案学习计划工作计划解决方案商业计划营销/活动策划总结/汇报学习总结实习总结工作总结/汇报党团工作入党/转正申请思想汇报/心得体会党团建设工作范文制度/规范演讲/主持行政公文表格/模板合同协议书信模板 表格类模板饮食游戏体育/运动音乐旅游购物娱乐时尚美容化妆影视/动漫保健养生随笔幽默滑稽幼儿教育幼儿读物少儿英语唐诗宋词育儿理论经验育儿知识家庭教育小学教育小升初学科竞赛其它课程 初中教育中考科学学科竞赛其它课程高中教育学科竞赛其它课程职业教育中职中专职高对口职业技术培训 其他成人教育成人考试电大自考专升本远程、网络教育高等教育理学工学经济学管理学文学哲学历史学法学教育学农业医学军事艺术研究生入学考试院校资料其它