信息论第三讲

来源:互联网 编辑:李元芳 手机版

2.1.5 平均互信息

上一节的互信息描述了具体事件或符号之间的信息蕴涵问题,不能反映事件集合X和Y间的关系,不能反映图2-2通信模型中信源与信宿间总体的信息流通关系。为了解决这个问题,需要看整个事件集合的平均结果,即平均互信息。

定义2.7 两个随机事件集合X, Y的平均互信息量是任意两个具体事件互信息量在联合空间上的加权平均:

(2-25)

注意到平均互信息和熵的形式类似,也是取统计平均的结果,但是它们是两个完全不同的概念,平均互信息反映两个随机事件之间的信息联系,而熵是所考虑随机变量的不确定性。

为简单起见,人们常常省去平均两个字,把直接称为互信息,根据上下文意思一般不会产生混淆。

互信息具有如下重要性质:

(1)对称性—从中获得的信息量等于从中获得的信息量。

(2-26)

这个性质是显然的,只要把式(2-21)中的换成与之相等的即可得证。

(2)与熵的关系—在给出熵的定义时我们已经提到,一个随机事件出现给出的信息量是对该随机事件不确定程度的减缩量,说明信息量与熵之间存在着一定的联系,平均互信息与熵的关系可以由下式明确表述:

(2-27)

这个式子的物理意义可以这样解释:对的不确定度减去已知情况下对的不确定程度,就是所能够提供的关于的信息量。同理可得

(2-28)

特别地,

(2-29)

式中是明显的,因为已知后对当然就不存在不确定性了。此式表明,随机变量与其自身的互信息即为该随机变量的熵。

把式 (2-15)代入式(2-28)可以得到一个均衡的表达式:

(2-30)

平均互信息和熵都是信息论里最重要的基本概念,弄清楚它们的关系对深入理解信息论的知识非常有意义。

(3)非负性—随机变量集合的互信息量不小于0,即

(2-31)

当且仅当互相独立时,等号成立。这一点与两个随机变量的互信息不同,后者可为任何实数。关于平均互信息的非负性我们留待下一节证明。

例2.8 已知等概信源发出符号,信道特性如图2-3所示,求在该信道上传输的平均互信息量、疑义度、噪声熵和联合熵

解 先求出各联合概率:

再根据全概率公式求出集合中各符号的概率: 图2-3 例2.8的信道特性

第三步求出各后验概率:

现在可以计算各种熵了。联合熵为

为求出平均互信息量,需要先求出输入与输出各自的不确定度

=1

=0.98

所以平均互信息为

=1+0.98-1.43=0.55

而疑义度和噪声熵分别为

至此,我们已经定义了熵联合熵条件熵和互信息,并讨论了它们的关系,为了进一步明确并便于记忆,可以用维恩(Venn)图示意如下:

定理2.2 条件作用使熵减小,即

(2-32)

当且仅当X与Y互相独立时,等号成立。

证明 由式(2-28)和(2-31),有

可以直接得到

图2-4 熵与平均互信息的关系图

这个定理的结论是在平均意义下成立的,不等于说任何一个条件都使熵值减小。事实上,可能存在个别的具体条件会增加熵的值,即使。例如审理案件时,根据足够的证据可以理清事实,证据的作用是降低案件的不确定性,但是有可能控辩的某一方提出了一个新证据,不仅没有减少案件的不确定性,反而使案件更加扑溯迷离。但是从平均意义上讲,下式总是成立的。

Y X

1

2

1

0

3/4

2

1/8

1/8

例2.9 设X,Y 服从右图所示联合分布,计算X的

例题2.9的条件熵和条件熵,并验证其结果是否符合定理2.2。

解 X的边际分布是(1/8,7/8)Y的边际

分布是(3/4,1/4),

表2-2

比较这些结果发现,,即条件作用使熵减少,而,即条件作用使熵增加了,但是平均结果是,即条件作用的平均结果使熵减少。

2.1.6 相对熵

根据随机过程的知识,我们知道随机变量的取值具有一定的分布特征,例如正态分布、瑞利分布,或者其它什么分布。通信编码时要根据分布特征确定编码方案,以提高编码效率。例如,已知随机变量的真实分布为,我们就可以构造平均长度为的码来描述这个随机变量。但是,如果我们使用的是针对分布的编码,那么在平均意义上,就需要在的基础上增加码长,否则不会取得良好的效果。那么能否有一个定量的办法描述不同分布的差别呢?

相对熵就是两个随机分布间距离的度量。

定义2.8 两个概率密度函数之间的相对熵也叫库勒拜克—雷伯勒(Kullback Leibler)距离,定义为

(2-33)

在上述定义中,基于连续性的假设,我们约定

由于相对熵的定义可以写作

的形式,看起来像两个熵值的差,所以把它当做两个分布间的距离。

不幸的是相对熵不满足对称性,也不满足一般距离应该满足的三角不等式,所以虽然它具有非负特点(下一章证明),实际上并不能真正代表两个分布间的距离。然而,把它看作距离往往会有许多方便之处。

例2.10 设,考虑上的两个分布。设,则有

如果,则。如果,则可计算得到

显然,一般情况下,

相对熵的概念使许多问题得到简化。下面,我们首先看一看相对熵和平均互信息量的关系。

两个随机变量的平均互信息是

(2-34)

这就是说,平均互信息就是联合分布与乘积分布之间的相对熵。因此,式(2-34)也被看作平均互信息的另一种定义方式。有时我们可能遇到条件相对熵,这里仅给出其定义,不做深入的讨论。

定义2.9 条件相对熵定义为

(2-35)

信息论答案第三章

信息论答案第三章 - ? X ? ? x1 x2 ? 3.1 设信源 ? ? 通过一干扰信道,接收符号为 Y = { y1, y2 },信道转移矩 ??? ? P( X )? ?0.6 0....[本文更多相关]

《信息论与编码》习题解答-第三章

《信息论与编码》习题解答-第三章 - 第三章 信道容量-习题答案 3.1 设二元对称信道的传递矩阵为 ? ?2 / 3 ?1 / 3 1/ 3 ? ? 2 / 3? (1) 若 P...[本文更多相关]

[信息论第三讲]相关文章:

  • 信息论及其应用I-2010-第三讲
  • 信息论及其应用I-2010-第三讲
  • 信息论与编码第三讲
  • 信息论与编码第三讲
  • 信息论讲义_第三讲
  • 信息论讲义_第三讲
  • 第三讲 信息论基础知识
  • 第三讲 信息论基础知识
  • 信息论和编码第三讲
  • 信息论和编码第三讲
  • 第三讲(一):密码学的信息论基础
  • 第三讲(一):密码学的信息论基础
  • 现代密码学第三讲(一):密码学的信息论基础
  • 现代密码学第三讲(一):密码学的信息论基础
  • 信息论与电力系统(第三讲)
  • 信息论与电力系统(第三讲)
  • 现代密码学第三讲(一):密码学的信息论基础(必修和
  • 现代密码学第三讲(一):密码学的信息论基础(必修和
  • 信息论第三讲-平均交互信息量的特性
  • 信息论第三讲-平均交互信息量的特性
  • 信息论第三讲相关搜索
    最新推荐
    热门推荐
    <上页热点Q热点106 114下页下页社会娱乐体育军事汽车财经科技育儿历史美食数码时尚宠物收藏家居心理文化三农健康科学游戏动漫教育职场旅游电影国际 知识100106 114 52 107 115 55 120 57 100z48 100z100 100z106 100z114 100z52 100z107 100z115 100z55 100z120 100z57 106z48 106z100 106z106 106z114 106z52 106z107 106z115 106z55 106z120 106z57 114z48 114z100 114z106 114z114 114z52 114z107 114z115 114z55 114z120 114z57 52z48 52z100 52z106 52z114 52z52 52z107 52z115 52z55 52z120 52z57 107z48 107z100 107z106 107z114 107z52 107z107 107z115 107z55 107z120 107z57 115z48 115z100 115z106 115z114 115z52 115z107 115z115 115z55 115z120 115z57 55z48 55z100 55z106 55z114 55z52 55z107 55z115 55z55 55z120 55z57 120z48 120z100 120z106 120z114 120z52 120z107 120z115 120z55 120z120 120z57 57z48 57z100 57z106 57z114 57z52 57z107 57z115suiji 106 114 52 107 115 55 120 57 100g48 100g100 100g106 100g114 100g52 100g107 100g115 100g55 100g120 100g57 106g48 106g100 106g106 106g114 106g52 106g107 106g115 106g55 106g120 106g57 114g48 114g100 114g106 114g114 114g52 114g107 114g115 114g55 114g120 114g57 52g48 52g100 52g106 52g114 52g52 52g107 52g115 52g55 52g120 52g57 107g48 107g100 107g106 107g114 107g52 107g107 107g115 107g55 107g120 107g57 115g48 115g100 115g106 115g114 115g52 115g107 115g115 115g55 115g120 115g57 55g48 55g100 55g106 55g114 55g52 55g107 55g115 55g55 55g120 55g57 120g48 120g100 120g106 120g114 120g52 120g107 120g115 120g55 120g120 120g57 57g48 57g100 57g106 57g114 57g52 57g107 57g115 57g55 57g120 57g57 100g48g48 100g48g100... 1000000new106 new114 new52 new107 new115 new55 new120 new57 new100g48 new100g100 new100g106 new100g114 new100g52 new100g107 new100g115 new100g55 new100g120 new100g57 new106g48 new106g100 new106g106 new106g114 new106g52 new106g107 new106g115 new106g55 new106g120 new106g57 new114g48 new114g100 new114g106 new114g114 new114g52 new114g107 new114g115 new114g55 new114g120 new114g57 new52g48 new52g100 new52g106 new52g114 new52g52 new52g107 new52g115 new52g55 new52g120 new52g57 new107g48 new107g100 new107g106 new107g114 new107g52 new107g107 new107g115 new107g55 new107g120 new107g57 new115g48 new115g100 new115g106 new115g114 new115g52 new115g107 new115g115 new115g55 new115g120 new115g57 new55g48 new55g100 new55g106 new55g114 new55g52 new55g107 new55g115 new55g55 new55g120 new55g57 new120g48 new120g100 new120g106 new120g114 new120g52 new120g107 new120g115 new120g55 new120g120 new120g57 new57g48 new57g100 new57g106 new57g114 new57g52 new57g107 new57g115 new57g55 new57g120 new57g57 new100g48g48 new100g48g100 下页>... new100g48g48g48g48g48g48g48top106 top114 top52 top107 top115 top55 top120 top57 top100g48 top100g100 top100g106 top100g114 top100g52 top100g107 top100g115 top100g55 top100g120 top100g57 top106g48 top106g100 top106g106 top106g114 top106g52 top106g107 top106g115 top106g55 top106g120 top106g57 top114g48 top114g100 top114g106 top114g114 top114g52 top114g107 top114g115 top114g55 top114g120 top114g57 top52g48 top52g100 top52g106 top52g114 top52g52 top52g107 top52g115 top52g55 top52g120 top52g57 top107g48 top107g100 top107g106 top107g114 top107g52 top107g107 top107g115 top107g55 top107g120 top107g57 top115g48 top115g100 top115g106 top115g114 top115g52 top115g107 top115g115 top115g55 top115g120 top115g57 top55g48 top55g100 top55g106 top55g114 top55g52 top55g107 top55g115 top55g55 top55g120 top55g57 top120g48 top120g100 top120g106 top120g114 top120g52 top120g107 top120g115 top120g55 top120g120 top120g57 top57g48 top57g100 top57g106 top57g114 top57g52 top57g107 top57g115 top57g55 top57g120 top57g57 top100g48g48 top100g48g100幼儿教育小学教育初中教育高中教育高等教育教学研究外语学习资格考试/认证成人教育职业教育IT/计算机经管营销医药卫生自然科学农林牧渔人文社科工程科技PPT模板PPT制作技巧求职/职场计划/解决方案总结/汇报党团工作工作范文表格/模板法律文书饮食游戏体育/运动音乐旅游购物娱乐时尚美容化妆家具家电社会民生影视/动漫保健养生随笔摄影摄像幽默滑稽人文社科法律资料军事/政治广告/传媒设计/艺术教育学/心理学社会学文化/宗教哲学/历史文学研究经管营销人力资源管理财务管理生产/经营管理企业管理公共/行政管理销售/营销金融/投资经济/市场工程科技信息与通信电子/电路建筑/土木城乡/园林规划环境/食品科学电力/水利交通运输能源/化工机械/仪表冶金/矿山/地质纺织/轻工业材料科学兵器/核科学IT/计算机互联网电脑基础知识软件及应用硬件及网络自然科学数学物理化学生物学天文/地理医药卫生临床医学基础医学预防医学中医中药药学农林牧渔农学林学畜牧兽医水产渔业求职/职场简历封面/模板求职/面试职业规划自我管理与提升计划/解决方案学习计划工作计划解决方案商业计划营销/活动策划总结/汇报学习总结实习总结工作总结/汇报党团工作入党/转正申请思想汇报/心得体会党团建设工作范文制度/规范演讲/主持行政公文表格/模板合同协议书信模板 表格类模板饮食游戏体育/运动音乐旅游购物娱乐时尚美容化妆影视/动漫保健养生随笔幽默滑稽幼儿教育幼儿读物少儿英语唐诗宋词育儿理论经验育儿知识家庭教育小学教育小升初学科竞赛其它课程 初中教育中考科学学科竞赛其它课程高中教育学科竞赛其它课程职业教育中职中专职高对口职业技术培训 其他成人教育成人考试电大自考专升本远程、网络教育高等教育理学工学经济学管理学文学哲学历史学法学教育学农业医学军事艺术研究生入学考试院校资料其它