信息论第三讲

来源:互联网 编辑: 张倩 手机版

2.1.5 平均互信息

上一节的互信息描述了具体事件或符号之间的信息蕴涵问题,不能反映事件集合X和Y间的关系,不能反映图2-2通信模型中信源与信宿间总体的信息流通关系。为了解决这个问题,需要看整个事件集合的平均结果,即平均互信息。

定义2.7 两个随机事件集合X, Y的平均互信息量是任意两个具体事件互信息量在联合空间上的加权平均:

(2-25)

注意到平均互信息和熵的形式类似,也是取统计平均的结果,但是它们是两个完全不同的概念,平均互信息反映两个随机事件之间的信息联系,而熵是所考虑随机变量的不确定性。

为简单起见,人们常常省去平均两个字,把直接称为互信息,根据上下文意思一般不会产生混淆。

互信息具有如下重要性质:

(1)对称性—从中获得的信息量等于从中获得的信息量。

(2-26)

这个性质是显然的,只要把式(2-21)中的换成与之相等的即可得证。

(2)与熵的关系—在给出熵的定义时我们已经提到,一个随机事件出现给出的信息量是对该随机事件不确定程度的减缩量,说明信息量与熵之间存在着一定的联系,平均互信息与熵的关系可以由下式明确表述:

(2-27)

这个式子的物理意义可以这样解释:对的不确定度减去已知情况下对的不确定程度,就是所能够提供的关于的信息量。同理可得

(2-28)

特别地,

(2-29)

式中是明显的,因为已知后对当然就不存在不确定性了。此式表明,随机变量与其自身的互信息即为该随机变量的熵。

把式 (2-15)代入式(2-28)可以得到一个均衡的表达式:

(2-30)

平均互信息和熵都是信息论里最重要的基本概念,弄清楚它们的关系对深入理解信息论的知识非常有意义。

(3)非负性—随机变量集合的互信息量不小于0,即

(2-31)

当且仅当互相独立时,等号成立。这一点与两个随机变量的互信息不同,后者可为任何实数。关于平均互信息的非负性我们留待下一节证明。

例2.8 已知等概信源发出符号,信道特性如图2-3所示,求在该信道上传输的平均互信息量、疑义度、噪声熵和联合熵

解 先求出各联合概率:

再根据全概率公式求出集合中各符号的概率: 图2-3 例2.8的信道特性

第三步求出各后验概率:

现在可以计算各种熵了。联合熵为

为求出平均互信息量,需要先求出输入与输出各自的不确定度

=1

=0.98

所以平均互信息为

=1+0.98-1.43=0.55

而疑义度和噪声熵分别为

至此,我们已经定义了熵联合熵条件熵和互信息,并讨论了它们的关系,为了进一步明确并便于记忆,可以用维恩(Venn)图示意如下:

定理2.2 条件作用使熵减小,即

(2-32)

当且仅当X与Y互相独立时,等号成立。

证明 由式(2-28)和(2-31),有

可以直接得到

图2-4 熵与平均互信息的关系图

这个定理的结论是在平均意义下成立的,不等于说任何一个条件都使熵值减小。事实上,可能存在个别的具体条件会增加熵的值,即使。例如审理案件时,根据足够的证据可以理清事实,证据的作用是降低案件的不确定性,但是有可能控辩的某一方提出了一个新证据,不仅没有减少案件的不确定性,反而使案件更加扑溯迷离。但是从平均意义上讲,下式总是成立的。

Y X

1

2

1

0

3/4

2

1/8

1/8

例2.9 设X,Y 服从右图所示联合分布,计算X的

例题2.9的条件熵和条件熵,并验证其结果是否符合定理2.2。

解 X的边际分布是(1/8,7/8)Y的边际

分布是(3/4,1/4),

表2-2

比较这些结果发现,,即条件作用使熵减少,而,即条件作用使熵增加了,但是平均结果是,即条件作用的平均结果使熵减少。

2.1.6 相对熵

根据随机过程的知识,我们知道随机变量的取值具有一定的分布特征,例如正态分布、瑞利分布,或者其它什么分布。通信编码时要根据分布特征确定编码方案,以提高编码效率。例如,已知随机变量的真实分布为,我们就可以构造平均长度为的码来描述这个随机变量。但是,如果我们使用的是针对分布的编码,那么在平均意义上,就需要在的基础上增加码长,否则不会取得良好的效果。那么能否有一个定量的办法描述不同分布的差别呢?

相对熵就是两个随机分布间距离的度量。

定义2.8 两个概率密度函数之间的相对熵也叫库勒拜克—雷伯勒(Kullback Leibler)距离,定义为

(2-33)

在上述定义中,基于连续性的假设,我们约定

由于相对熵的定义可以写作

的形式,看起来像两个熵值的差,所以把它当做两个分布间的距离。

不幸的是相对熵不满足对称性,也不满足一般距离应该满足的三角不等式,所以虽然它具有非负特点(下一章证明),实际上并不能真正代表两个分布间的距离。然而,把它看作距离往往会有许多方便之处。

例2.10 设,考虑上的两个分布。设,则有

如果,则。如果,则可计算得到

显然,一般情况下,

相对熵的概念使许多问题得到简化。下面,我们首先看一看相对熵和平均互信息量的关系。

两个随机变量的平均互信息是

(2-34)

这就是说,平均互信息就是联合分布与乘积分布之间的相对熵。因此,式(2-34)也被看作平均互信息的另一种定义方式。有时我们可能遇到条件相对熵,这里仅给出其定义,不做深入的讨论。

定义2.9 条件相对熵定义为

(2-35)

信息论第三讲.doc

信息论第三讲 - 2.1.5 平均互信息 上一节的互信息描述了具体事件或符号 x...[本文更多相关]

信息论第三章答案.doc

信息论第三章答案 - 信息论第三章答案 【篇一:《信息论与编码》习题解答-第三章...[本文更多相关]

信息论第四讲.doc

信息论第四讲 - 2.2 重要定理 2.2.1 链式法则 从定理 2.1 ,我们...[本文更多相关]

信息论第三章答案(南邮研究生作业).doc

信息论第三章答案(南邮研究生作业) - 3.3 3.4 设二元对称信道的传递矩阵...[本文更多相关]

《信息论与编码》习题解答-第三章.doc

《信息论与编码》习题解答-第三章 - 第三章 信道容量-习题答案 3.1 设二元...[本文更多相关]

信息论与编码习题与答案第三章.doc

信息论与编码习题与答案第三章 - 3.1 设二元对称信道的传递矩阵为 (1) 若...[本文更多相关]

信息论基础与编码课后题答案(第三章).doc

信息论基础与编码课后题答案(第三章) - 3-1 设有一离散无记忆信源,其概率空...[本文更多相关]

信息论与编码第三章曹雪虹习题答案.doc

信息论与编码第三章曹雪虹习题答案 - 相信我,没错的!!! 第三章 ?2 1? ...[本文更多相关]

朱雪龙《应用信息论基础》习题第三章答案.doc

朱雪龙《应用信息论基础》习题第三章答案 - 第三章习题答案 3.1 解: ? l...[本文更多相关]

【优质】信息论基础与编码课后题答案第三章.doc

【优质】信息论基础与编码课后题答案第三章 - 3-1 设有一离散无记忆信源,其概...[本文更多相关]

西安电子科技大学信息论与编码理论讲义.doc

西安电子科技大学信息论与编码理论讲义 - 《信讲 息义 论》 204 教研室 2...[本文更多相关]

《信息论与编码》实验讲义.doc

《信息论与编码》实验讲义_工学_高等教育_教育专区。信息理论与编码实验讲义(MATLAB实现) 电子信息工程专业实验系列 信息论与编码 实验讲义方飞编 班级: 学号: ......[本文更多相关]

讲义62循环码.(DOC).doc

(mk-1xk-1+mk-2xk-2+……+m0)g(x) =m(x)g(x) 6-15 《信息论》讲义(第六章) 利用这种方法产生的循环码为非系统循环码, 因为,[G(x)]为非标 ......[本文更多相关]

山东省济宁市梁山一中高二信息技术《第三章 信息的加工....doc

山东省济宁市梁山一中高二信息技术《第三章 信息的加工之人工智能、自动化》学案...涉及学科 哲学和认知科学,数学,神经生理学,心理学,计算机科学,信息论,控制 论,......[本文更多相关]

第三章计算机软件习题.doc

第三章计算机软件习题 - 文档均来自网络,如有侵权请联系我删除文档... 第三章计算机软件习题_计算机软件及应用_IT/...程序 B.存储控制结构 C.信息论 D.控制论 ......[本文更多相关]

行政管理学第三章.doc

行政管理学第三章_管理学_高等教育_教育专区。第三章 行政管理学的产生和发展...(四)系统理论时期(1960——) 运用系统论、信息论、控制论等现代管理理论来解决......[本文更多相关]

高二信息技术《第三章 信息的加工之人工智能、自动化》....doc

高二信息技术《第三章 信息的加工之人工智能、自动化》学案_其它课程_初中教育_...涉及学科 哲学和认知科学,数学,神经生理学,心理学,计算机科学,信息论,控制 论,......[本文更多相关]

传播学复习大纲学霸版.讲义.doc

7、 “有限效果论” 克拉帕《大众传播效果》 提出关于传播效果的“五项一般定理...第三节 1、信源的“可信性效果” 传播者决定着信息的内容,但从宣传或说服的......[本文更多相关]

信息科学基础讲义三卷16-27.doc

信息科学基础讲义三卷16-27 - 周次:第 16 次 时间:2007 年 11...[本文更多相关]

第三章 计算机软件习题.doc

第三章 计算机软件习题_IT认证_资格考试/认证_教育专区。第三章 习 计算机软件...A.数据结构+算法=程序 B.存储控制结构 C.信息论 D.控制论 34. 用 C 语言......[本文更多相关]

娶非处女的12大极命性危害,中国第一篇“论非处女危害性....txt

『天涯杂谈』娶非处女的12大极命性危害,中国第一篇“论非处女危害性科学报告...在男女交合中,男人把自己的阳性能量、信息,随同精液一起送给女人,女人是接收者......[本文更多相关]

财富首脑:杜家滨管理重在认真.txt

但思科也较早把眼光放在一些信息化势头强劲的行业,...思科也有三讲:讲学习——员...[本文更多相关]

以革命军人应有的忠诚担当勇气投身改革强军伟大实践.txt

第三讲 以革命军人应有的忠诚担当勇气投身改革强军伟大实践 教育目的:引导国防生...有的嘴上喊信息化,但思想上还是脱不开机械化那一套;讲的是联合作战,但大陆......[本文更多相关]

公推直选考试题.txt

A.行政决策中枢系统 B.行政决策信息系统 C.行政...侧重叙事,在叙事基础上阐明道理 17.“三讲”是指(...《方法论》 D.培根的《新工具》 20.我国第一座......[本文更多相关]

教学设计期末试题及答案 - 百度文库.txt

1、 ( ),教学媒体有助于传递教学信息标准化,使教学...第二,随着交流的进行...[本文更多相关]

军人对照检查.txt

第四,抓油库信息化建设。通过两年的 努力,去年12月信息化油库验收合格,做到了....[本文更多相关]

2002年黄冈市人民政府工作报告.txt

深入开展“三讲”教育、“三个代表”学教活动和多...加快建立完善招商引资信息网和...[本文更多相关]

内衣营销创新进化的“三点论”.txt

内衣营销创新进化的“三点论” - 内衣营销创新进化的“三点论” 郑纪东 各行业、...[本文更多相关]

政治必修三原理方法论.txt

政治必修三原理方法论 - (一)唯物论(5个) 1、世界物质性统一性原理 【原理...[本文更多相关]

英雄无敌三论最强英雄兵种魔法宝物.txt

英雄无敌三论最强英雄兵种魔法宝物 - 最强英雄 纯法师:四系魔法+智力+魔力 1...[本文更多相关]

富甲3攻略 攻城机关 - 百度文库.txt

专业文档是百度文库认证用户/机构上传的专业性文档,文库VIP用户或购买专业文档下...[本文更多相关]

人民日报任仲平:加强政治意识大局意识责任意识.txt

“三讲”活动,进一步加强干部队伍的建设,对于...无论哪个地方和部门,都不能搞本位主义、地方...有些干部,信息闭塞,目光短浅,急功近利,只顾......[本文更多相关]

党建工作的八个转变.txt

“三讲”教育和在全体共产党员中集中开展先进性教育这...研讨会等多种方式,沟通党组织之间的情况、信息交流...第三,积极探索乡镇党委领导班子成员“公推直选”,把......[本文更多相关]

[信息论第三讲]相关文章:

  • 信息论及其应用I-2010-第三讲
  • 信息论及其应用I-2010-第三讲
  • 信息论与编码第三讲
  • 信息论与编码第三讲
  • 信息论讲义_第三讲
  • 信息论讲义_第三讲
  • 第三讲 信息论基础知识
  • 第三讲 信息论基础知识
  • 信息论和编码第三讲
  • 信息论和编码第三讲
  • 第三讲(一):密码学的信息论基础
  • 第三讲(一):密码学的信息论基础
  • 现代密码学第三讲(一):密码学的信息论基础
  • 现代密码学第三讲(一):密码学的信息论基础
  • 信息论与电力系统(第三讲)
  • 信息论与电力系统(第三讲)
  • 现代密码学第三讲(一):密码学的信息论基础(必修和
  • 现代密码学第三讲(一):密码学的信息论基础(必修和
  • 信息论第三讲-平均交互信息量的特性
  • 信息论第三讲-平均交互信息量的特性
  • 信息论第三讲相关搜索
    最新推荐
    热门推荐