信息论第四讲

来源:互联网 编辑: 张倩 手机版

2.2 重要定理

2.2.1 链式法则

从定理2.1,我们得到:,并解释说它们是熵的链式法则在两个随机变量情况下的特例。现在,我们来看它的一般形式,即针对一组随机变量的情况。

世界上有很多事情取决于多种因素,这时就可以看作多个随机变量共同决定了事情的不确定性。

定理2.3(熵的链式法则)设随机变量服从联合分布,则

(2-36)

证明 根据式(2-15),可以把等式左边写成

左边=

=右边

在证明过程中,我们没有使用联合概率分布,如果使用之,同样可以证明这个定理。

可以从物理概念上对上述定理加以解释:多随机变量的联合熵是多个事件同时发生的不确定性,它应该等于事件的不确定性与已出现的情况下其它事件同时发生的不确定性之和,而后者是已出现的前提下事件的不确定性,与已出现的情况下其它事件同时发生的不确定性之和,依此类推。

这个定理告诉我们一个重要的结论:多随机变量的联合熵等于条件熵之和。;

如果多个事件互相独立,问题就变得更简单了。例如,我们班上有n个同学,每人的学习成绩是[0,100]间的随机数,用随机变量表示。根据上述定理,全班成绩的不确定性为,是条件熵之和,但是由于大家的成绩相互独立,全班成绩的不确定性只由每人成绩不确定性之和决定,即为

定理2.4(平均互信息的链式法则)

(2-37)

此式的左边是多个事件能给另一事件提供的互信息(或者相反),右边是与各个事件在一定条件下的互信息之和(即已知一些Xi的条件下,下一个Xi带给Y的互信息)。

证明 运用和熵的链式法则可作如下推导:

定理2.5 (相对熵的链式法则)

(2-38)

证明

相对熵的链式法则定义了两个随机变量的两种不同分布间的距离。

以上链式法则把第一节所给出的概念推广到更复杂的情况,适用于多个随机变量。它们之间存在着某种“层次”上的关系,让我们来看下面的例题。

例2.11 在实际工作和生活中,常常会由于某种需要有序地论述某些思路,然后,如有必要就会对这些思路进行适当的推广。那么前面的三个链式法则哪个最强,哪个最弱?请排一下顺序。

解 推导平均互信息的链式法则时,我们利用了熵的链式法则,说明熵的链式法则更有一般性,而相对熵的定义比平均互信息更宽泛,它的链式法则也就适合更宽泛的情况,所以说平均互信息要求的条件最强。在熵和相对熵之间,由于后者是对两个概率密度函数定义的,要求条件比熵的定义更宽。所以若以条件而言,从强到弱的顺序是平均互信息-熵-相对熵,若以适用范围而言,从强到弱的顺序是相对熵-熵-平均互信息。

2.2.2 杰森(Jensen) 不等式

定理2.6 对于凹函数f和随机变量X,总有

(2-39)

证明 用数学归纳法进行证明。对于两点分布,杰森不等式蜕化为如下形式:

其中。这是函数f 为凹函数的条件,而且当且仅当或1时,f是严格凹函数。而杰森不等式的条件就是给定一个凹函数f,所以上式是成立的。

假定随机变量X是k-1点分布,则,记,其中,则有

其中(a)由归纳假设得到,(b)是因为f是凹函数。以上用归纳法证明了杰森不等式在离散分布下是正确的,对连续分布也是正确的,这里不再讨论。

下面,我们利用杰森不等式来证明相对熵的非负性。

定理2.7 相对熵不小于0。即

(2-40)

而且当且仅当概率密度函数满足条件时,等号成立。

证明

(2-41)

式中不等号由定理2.6得到。由于是关于t的严格凸函数,所以式(2-41)中的等号在当且仅当时成立,此时

有了定理2.7,平均互信息量的非负性立即得证。

定理2.8 设服从分布,有

(2-42)

而且当且仅当互相独立时,等号成立。

由熵的链式法则和定理2.2可以直接证明之,此处从略。这个结果叫做熵的界。

定理2.9 设随机事件集合X共有N个元素,则

(2-43)

而且当且仅当集合中各随机事件均匀分布时,等号成立。

证明 设是随机变量X的实际概率密度,是X各元素均匀分布时的概率密度,显然

因为,所以,当且仅当,即均匀分布时,,式(2-43)中等号成立。

在这个证明中,我们得到了等式,其中是个常数,所以由的凸函数性立即得到是个凹函数。

例2.12 英文加空格共27个字符,编码时平均要用多少比特表示英文字符?

(比特)

2.2.3 数据处理不等式

有时人们希望,通过某种数据处理的方式更多地了解某一事物,获得更多的信息。但是数据处理不等式从理论上告诉我们这是不可能的。我们不可能找到一种最优的数据处理方式,使我们得到比原来更多的信息。

为了证明这个不等式,需要用到马尔可夫链的概念。关于马尔可夫链的详细内容,在本章附录中有所回顾,此处简单表述如下:对于随机变量空间X,Y,Z,如果某一变量的条件分布仅取决于前一个变量,而与更前面的变量无关,例如Z的条件分布仅取决于Y,而与X的条件无关,则称X,Y,Z构成了马尔可夫链。正规的定义为:

定义2.10 如果X,Y,Z的联合概率分布密度函数满足条件

(2-44)

则X,Y,Z构成马尔可夫链,简记为蕴含着,因此有时记作

定理2.10 如果,则

(2-45)

证明 根据链式法则,将平均互信息展开为如下形式

(2-46)

(2-47)

因为给定Y 的条件下,X与Z互相独立,所以有,而,比较(2-46)和(2-47)两式得到。当时,式(2-45)中等号成立。类似地,

(2-48)

如果Z是对Y进行数据处理的结果,即Z是Y的函数,则由于构成马尔可夫链,可以得到,说明对数据Y处理后所得到的不会增加关于X的信息。

信息论第四讲.doc

信息论第四讲 - 2.2 重要定理 2.2.1 链式法则 从定理 2.1 ,我们...[本文更多相关]

信息论第五讲.doc

信息论第五讲 - 2.2.4 费诺(Fano)不等式 我们曾借助于前已给出的通信...[本文更多相关]

信息论 复习题目(2017).doc

信息论 复习题目(2017) - 信息论复习提纲(2017) 第一章 绪论 1....[本文更多相关]

第四讲 在谈判和联盟中的全球化领导.doc

第四讲 在谈判和联盟中的全球化领导 第一节 跨文化谈判概论 一.跨文化谈判 ...博弈论 2.公平理论 3. “黑箱”理论 4.信息论 三.谈判的基本原则 1.谈判......[本文更多相关]

信息论与编码复习题目(2016).doc

信息论与编码复习题目(2016) - 信息论复习提纲 第一章 绪论 1. 通信系...[本文更多相关]

030732004《信息论基础》教学大纲.doc

030732004《信息论基础》教学大纲 - 《信息论基础》课程教学大纲 课程代...[本文更多相关]

信息论与编码知识点分布.doc

信息论与编码知识点分布 - 信息论与编码知识点分布 注: (1)复习过程中参考如...[本文更多相关]

信息论与编码教案汇总.doc

信息论与编码教案汇总 - 赣南师范学院物理与电子信息工程学院 教 案 授课教师:...[本文更多相关]

西安电子科技大学信息论与编码理论讲义.doc

西安电子科技大学信息论与编码理论讲义 - 《信讲 息义 论》 204 教研室 2...[本文更多相关]

信息技术选择题.doc

[1-0] ( )是信息论的主要创始人。 [答] C,1...已知公差为 2,第...[本文更多相关]

信息论与编码教案.doc

信息论与编码教案 - 教 案 2009 ~2010 学年第一学期 学院 ( 系、...[本文更多相关]

计算机一级选择题(1-4章)讲解.doc

计算机一级选择题(1-4章)讲解 - 第一章 1.信息科学的奠基人香农(Shannon)在信息科学发展史上的主要贡献是创立了( )。 A) 控制论 B) 狭义信息论 C) 噪声......[本文更多相关]

《信息论与编码》实验讲义.doc

(4)测试线性分组码的纠错能力 在命令窗口输入: >>...与H矩阵的第3列相同,即第3位发生了错误,可 以...《信息论与编码》实验讲... 7页 2下载券 信息......[本文更多相关]

基于知识图谱理论的信息论课程教学改革研究-精品作文.doc

标志着信息论这一新学科的诞 生,并于第二年发表...底只?,在讲习内容安排方面, 应恰当删减连续信源...4 结语 将知识图谱理论应用到信息论系统中, 通过......[本文更多相关]

《物质信息论》第二章 三位一体的世界.doc

《物质信息论》第二章 三位一体的世界 第二章 三...从本质上讲,波动性是能量性...[本文更多相关]

高二信息技术 第五章《信息的数字化》教案.doc

《信息的数字化》 教案本章以信息论为导线, 讲述...数据容量,技术参数,数据压缩方法几个方 面讲一此...第四节 多媒体的展示与应用 3 课时 本节以讲解 ......[本文更多相关]

讲义62循环码.doc

讲义62循环码 - 《信息论》讲义(第六章) 6-2 循环码(Cyclic Co...[本文更多相关]

新版第一章选择题.doc

新版第一章选择题 - 香农在信息科学发展史上的主要贡献是创立了()。 控制论 逻辑代数 狭义信息论 可计算理论 信息技术是对人类信息器官的某种扩展, 从这个意义......[本文更多相关]

第12讲 霍夫曼码.doc

第12讲 霍夫曼码 - 第 12 讲 霍夫曼码 1. 简介 1951 年,霍夫曼(Huffman)在 MIT 攻读博士时,信息论课程的导师法诺(Fano) 给全班学生布置的学期报告的题目是......[本文更多相关]

传播学概论.doc

传播学概论 - 传播学概论 课程大纲 ? ? ? ? ? ? ? ? 第一讲传播学史 第二讲人类传播的演进 第三讲人类传播的符号与意义 第四讲传播过程与传播模式 第五......[本文更多相关]

湖南大学工业设计考研的一点心得.txt

设计艺术学,总分404,英语64,政治77,手绘125,史论...题的信息,狂背...[本文更多相关]

最具勇气的决议是怎么炼成的_四年级语文_语文_小学教育_教育专区.txt

今天重新回顾,决议的诸多定论,在当下仍不过时,...这些信息的核心是:中国没有走...[本文更多相关]

《谏逐客书》 知识讲解 《谏逐客书》时要注意的问题(北....txt

第二层将上述事实进行概括并得出结论,“此四君者,...4.地不论东西南北,人不分异国他乡,一年四季都充满...免费查询企业信用信息,1.8亿企业和组织机构一站查!广告......[本文更多相关]

六爻断课.txt

(四)化出之爻 化出之爻不论动与静均为事态的...方法上复杂的多,但在信息预测内...[本文更多相关]

批处理for与变量延迟详解.txt

含变量延迟四 for /r 五 for /d 六 for /l ...而无论这个元素是否被带到command2中参与了command2...有用的信息并不是贯穿文本内容的始终,而是位于第N......[本文更多相关]

破解中考数学压轴题四个秘诀.txt

切入点四:在题目中寻找多解的信息 图形在运动变化,...几何型综合题基本在第25...[本文更多相关]

史湘云定亲之谜.txt

史湘云定亲之谜上一讲最后,我提出一个问题,就是第...贾母不可能完全不知她叔叔婶婶急着给她定亲的信息,...二十四岁的女子也可以谈婚论嫁了,在那个社会,绝对......[本文更多相关]

人教版语文四年级上册全部课文梳理.txt

奥数试题、小升初政策、重点中学、经验交流等信息。...02 编辑 人教版语文四年...[本文更多相关]

学习胡主席“七一”讲话重在回顾历史、正视现实、展望....txt

胡主席在讲话中指出,当前我们党面临着“四个考验”...又防止不讲科学、违背规律的盲目建设;在科技注入中...在信息化建设中坚持顶层设计,抓好后勤指挥平台和信息......[本文更多相关]

阿弥陀经疏钞演义01-03-084_zh_CN.txt

文档信息举报文档 青莲荷花藕贡献于2010-09-28...阿弥陀经疏钞演义 (...[本文更多相关]

新应聘高校教师试讲技巧.txt

4、目中无人。现在很多人没有学师范的,又跑到高校...“来自xxx大学,xx学历,”音调要降下来,因为无论你...,你就让评委知道了姓名、课题这两个最关键的信息。......[本文更多相关]

寂静的烽塔全文阅读_寂静的烽塔免费阅读.txt

如今,无论她走到哪里,那些昔日受过她恩惠、从心底...已经将这事绘声绘色地对住在家里的4个姐妹们讲了...基本信息 作者: [阿富汗]卡伊斯·阿克巴尔·奥马尔 ......[本文更多相关]

《企业管理》课程教学大纲.txt

《企业管理》课程教学大纲 一、课程基本信息 课程名称:企业管理 课程性质:专业....[本文更多相关]

中国人民大学《新闻评论学》讲义(涂光晋).txt

的变化之间的关系;新闻评论以传播意见性信息为主要...二、中国新闻评论的出现与演变——报刊政论、时评...第四节 电视评论的独特样式——电视述评 一、电视......[本文更多相关]

认识圣灵的工作.txt

讲论圣灵公认最完全的二位是宾路易师母及慕安得烈...(林后五21) 传神信息的人深知道:若没有神的灵...在以弗所书第四章十七节里有以「虚妄的心思」来......[本文更多相关]

北大中文系考研总汇考研经验.txt

聪明的考生一定能从这里获得更多更有价值的信息。 ...——这门考试包括三个方面:...[本文更多相关]

高考文综答题技巧与方法.txt

其次是推敲材料,把握“有效信息”。离开了对材料的...结合四:自然地理和热点问题...[本文更多相关]

《南怀瑾讲演录》——大会计.txt

通过SANI论坛这一交流平台,博采众长,获取信息,从而...人,占第一位,第二是农人;第三是工人;第四是...对不对?所以是读书无用论吧?读书的目的不在学位啊......[本文更多相关]

陈毅谈参谋工作的重要性.txt

陈毅谈参谋工作的重要性 - 第一部分 参谋工作的重要性 参谋工作是部队的灵魂,不...[本文更多相关]

竞争上岗材料.txt

等多篇调研文章和档案工作信息,受到州局、省公安厅...出版工作的业务处室,从一定的意义讲,是在代表省委...第四,努力为干警做好服务工作。不论成功与否,我将......[本文更多相关]

[信息论第四讲]相关文章:

  • 第四讲 信息论
  • 第四讲 信息论
  • 信息论与编码第四讲
  • 信息论与编码第四讲
  • 信息论讲义_第四讲
  • 信息论讲义_第四讲
  • 信息论及其应用I-2010-第四讲
  • 信息论及其应用I-2010-第四讲
  • 信息论_四_第四讲编码定理
  • 信息论_四_第四讲编码定理
  • 信息论第四章
  • 信息论第四章
  • 信息论与电力系统(第四讲)
  • 信息论与电力系统(第四讲)
  • 信息论第四讲平稳随机序列信源
  • 信息论第四讲平稳随机序列信源
  • 信息论第一章
  • 信息论第一章
  • 第14讲信息论与编码
  • 第14讲信息论与编码
  • 信息论第四讲相关搜索
    最新推荐
    热门推荐