信息论讲义第1-2章

来源:互联网 编辑: 张倩 手机版

第一章 引论1.1 信息与信息科学1.1.1 信息的概念

信息的定义:很难给出,信息的定义是信息论研究的一个基本内容。象物质,能量一样越基本的概念越难以给出明确的定义。

信息的概念:信息是可以传递的,具有不确定性的消息(情报,指令,数据,信号)中所包含的表示事物特性的内容。

信息概念的几个要点:

①信息不是事物的本身,信息是抽象的。而消息,情报,指令,数据等本身不是信息。

②Shannon认为:信息是关于环境事实的可以通信的知识。

③Winner认为:信息是人们在适应外部世界并且使这种适应反作用于外部世界的过程中,同外部世界进行交换的内容。

④近代人认为:信息是具有新内容的消息;是对于决策有价值的情报;是一切所感知的信号,信息就是知识等。

⑤Shannon信息论认为:信息的多少等于无知度的大小。人们已知的消息不是信息,而好象,大概,可能之类的不确切的内容包含着信息。因此,有时说“信息冗余”、“信息压缩”是不严格的。1.1.2 信息科学

①信息科学是研究信息的概念,相关理论和应用的科学,信息科学是一门新兴科学,边缘学科。

②信息科学的特点:(1)多学科--它与许多基础科学和应用技术有关,互相渗透,如数学,逻辑学,心理学,语言文字学,生物学,控制论,计算机科学,通信技术,仿生学,人工智能技术。(2)产业化--它应用服务于国民经济和社会生活的各个方面,从而形成一个新兴产业----信息产业。

③信息科学的研究范围

信息源:自然信息源(物理,化学,天体,地理,生物);社会信息源(管理,金融,商业);知识信息源(古今中外)

信息载体:第一载体(语言);第二载体(文字);第三载体(电磁波)。

信息的采集与转换:传感器,雷达,视,听,触,力,声光热点磁。

信息的传输:光,电磁波,神经,意念。

信息的存储与处理:计算机,视听系统。

④信息科学中的信息定义

信息是事物的变异度;

信息是系统结构的有序性;

信息是被反映事物的属性;

信息是被反映事物的特殊性(特殊性=不相似性+偶然性);1.1.3 信息的性质

⑴信息的可扩充性:相对物质和能量而言,信息资源没有限度,永远不会耗尽,而且回越来越多,信息爆炸,知识爆炸,能源危机。

⑵信息的可压缩性:通过人脑的归纳和综合,信息可精炼和压缩,产生专家系统,知识库。

⑶信息的可替代性:信息可替代有形物质,信息交易,情报交换。

⑷信息的可传递性:人与人之间,人与物之间,细胞,天体之间。

⑸信息的可扩散性:总是以各种方式向外部扩散,绝对保密是无法实现的。

⑹信息的可共享性:信息无法垄断。

⑺信息的相对有效性:相同信息可有不同的有效性。1.1.4信息论

①信息论(基本信息论):利用数学方法研究信息的度量,传递,交换和存储的一门科学。它是通信理论中的基础理论。

②Shannon信息论的基本观点:

⑴非决定论观点:承认偶然性,同时也承认必然性,分析时利用概率论研究事物的统计规律。

⑵形式化假说:通信的目的只是在接收端恢复消息的形式,而不需要了解消息的内容,假定各种信息的语意信息量等恒定不变,并等于1,以简化分析。

⑶不确定性:信息量的大小与消息状态的不确定性大小有关。

③信息论的研究范畴:

⑴狭义信息论(Shannon信息论)也称为基本信息论,研究信息度量,信道容量,信源编码。

⑵一般信息论(通信理论),研究信号与噪声理论,信号检测理论,信号传输理论,信道编码,抗干扰理论,信号处理理论。

⑶广义信息论(信息科学),更广泛的研究内容。1.2 通信系统的基本模型1.2.1 通信系统模型

通信的概念:通信就是互相传递和交换信息。

通信技术:起源与人类社会初期;语言,手势,文字,印刷术,电报(1840),电话(1880),无线电(1920),广播,电视,计算机通信(1960),通信卫星(1964),Internet(1990),全球信息网络。

通信系统的基本模型如图1-1所示:

图1-1 通信系统的基本模型

⑴信源与信宿:信源是信息的来源,是以符号的形式表现的具体消息。

数字信源/模拟信源;

离散信源/连续信源;

独立信源/相关信源;

无记忆信源/有记忆信源;

⑵变换与反变换:为了有效可靠地传递信息对信息进行必要的加工过程。

能量变换;将非电能信号转化为电能信号。

编码与译码;信道编码,信源编码,有效性编码,可靠性编码。

调制与解调;频谱变换。

模拟调制:AM,FM,PM,SSB。

数字调制:ASK,FSK,PSK,QPSK,SQPSK,MSK。

⑶信道:信息传递的媒介。

有线信道:明线,电缆,光纤,波导。

无线信道:短波,高频,微波,光波。

恒参信道:信道特性不随时间变化,有线,微波。

变参信道:信道特性随时间变化,短波。

离散信道:

连续信道:

数字通信系统的模型如图1-2所示。

图1-2 数字通信系统的模型1.2.2 通信系统的基本要求

①有效性:单位时间内传递的信息量最大。

②可靠性:在干扰情况下失真率和差错率最小。

③其它要求:适应性,经济性,实用性。1.3 信息论的发展历史

1924年,Nyquist提出信息传输理论;

1928年,Hartly提出信息量关系;

1932年,Morse发明电报编码;

1946年,柯切尼柯夫提出信号检测理论;

1948年,Shannon提出信息论,“通信中的数学理论”。1.4 本课程的主要内容

信源的问题:信息的度量、信源空间、信源熵、熵的性质、信源状态的信息量。

信宿的问题:接收的信息量。

信道的问题:信道描述、信道容量、噪声的影响。

编码的问题:信源编码、信道编码。

本课程没有讨论的问题:率失真函数与信源编码、多用户信息论、信号检测理论。第二章 离散信源的熵2.1 离散信源的数学模型2.1.1 单符号离散信源的数学模型

单符号离散信源是最简单的一种离散信源。

⑴离散信源特性:根据Shannon信息论的观点,信源要含有一定的信息,必须具有随机性,即有不确定性,可以用其概率来表示。

⑵离散信源空间:信源的符号(状态)随机地取值于一个离散集合[X]=(x1,x2,…xn)中,一个离散信源可以用一个概率空间[P]=(p1,p2,…pn)表示。

这种表示称为离散无记忆信源的信源空间。信源空间必为一个完备空间,即其概率和为1。

⑶信源数学模型描述的条件:用信源空间来表示信源的条件是信源符号(状态)的先验概率是可知的,这是Shannon信息论的一个基本假说。2.1.2 信源符号不确定性的度量

⑴不确定性:只有不确定性存在,才有信息存在,获得消息后消除了不确定性才得到信息。在一个通信系统中,收信者所获取的信息量,在数量上等于通信前后对信源的不确定性的减少量。

⑵不确定性的度量(不确定度):猜测某一随机事件是否会发生的难易程度。

[例2-1]:从一个袋子里取出不同颜色小球的不确定性。

a. 99个红球,1个白球,

b. 50个红球,50个白球,

c. 25个红球,25个白球,25个黑球,25个黄球,

可见,a的不确定性最小,I(白球)>I(红球)。

c的不确定性为最大,I(x1)=I(红球),I(x2)=I(白球),I(x3)=I(黑球),I(x4)=I(黄球)。

I(c)>I(b)>I(a)

⑶Hartly公式:

由上例可以看出:

信源不确定度的大小与信源的消息符号数有关;符号数越多,不确定度越大;

信源不确定度的大小与信源的消息符号概率有关;概率越小,不确定度越大;

即,如果p(x1)>p(x2),则I(x1)信源不确定度应具有可加性;

同时应当满足:如果p(xi)=0,则I(xi)=∞,如果p(xi)=1,则I(xi)=0。

因此为了满足以上四个条件,应把信源不确定度写为对数形式:

其单位根据对数的底不同而不同,以2为底为bit,以e为底为nat,以10为底为Hartly。可以看出信息度量用对数表示的合理性,通常取K=1。2.1.3 信源符号的自信息量

⑴自信息量的定义:

收信者收到一个消息状态得到的信息量,等于收到后对这个消息状态不确定度的减少量。即 I(信息量)=不确定度的减少量。

⑵无噪声信道下的自信息量:

在假设信道没有干扰(无噪声)的情况下,信源发出信源状态xi,接收者就会收到xi,这时接收者收到的信息量就等于信源状态xi本身含有的信息量(不确定度),称为信源状态xi的自信息量,记为I(xi)。

这时,接收到xi所获得的信息量等于信源输出发出的信息量。

⑶有噪声信道下的互信息量:

在有噪声信道下,信源发出的状态为xi,接收者收到的状态为yj,接收者收到yj后,从yj中获取到关于xi的信息量,就是信源发出xi后,接收者收到的信息量,称为互信息量。记为I(xi,yj)。(接收到yj后,信源实际发出xi时接收者所获得的信息量。)这时,由于噪声的干扰,接收者收到的信息量小于信源发出的信息量。

图2-1 有噪声信道模型框图

H(xi)为信源各状态具有的不确定性;

H(xi/yj)为接收到一个yj后,信源各状态仍存在的不确定度;

▲收到yj后,信源状态xi的不确定性应有所变化。

[例2-2]:求离散信源的自信息量。

一次掷两个色子,作为一个离散信源,求下列事件产生后提供的信息量。

a.仅有一个为3;

b.至少有一个为4;

c.两个之和为偶数;

解:一个色子有6个符号,两个色子的总数(信源符号数)为36。

a. 事件样本数=5×2=10(另外一个不能为3)

b. 事件样本数=5×2+1=11(加上一个双4)

c. 事件样本数=6×3=18(第一个的6个符号分别与第二个的3个符号构成事件)

则:p(a)=10/36=5/18; p(b)=11/36; p(c)=18/36=1/2;

I(a)=log(18/5)=1.848 (bit); I(b)=log(36/11)=1.7105 (bit); I(c)=log2=1 (bit);2.2 单符号离散信源的熵2.2.1 信源熵的概念

信源熵的定义:信源一个消息状态所具有的平均信息量。

离散无记忆信源的熵(独立熵):

信源熵的推导:

得到第j个消息获得的信息量为Ij=log(1/p(xj));

假设发出n个消息,其中有n.p(xj)个xj,其信息量为:In=n.p(xj).log(1/p(xj))

发出后总的信息量则为

平均信息量为:

H(X)表示信源发出任何一个消息状态所携带的平均信息量,也等于在无噪声条件下,接收者收到一个消息状态所获得的平均信息量。

▲熵的物理意义:

熵的本意为热力学中表示分子状态的紊乱程度;

信息论中熵表示信源中消息状态的不确定度;

信源熵与信息量有不同的意义;

H(X)表示信源X每一个状态所能提供的平均信息量;

H(X)表示信源X在没有发出符号以前,接收者对信源的平均不确定度;

H(X)表示随机变量X的随机性;

[例2-3]:求一个独立信源的熵

二元信源X:[0,1],其概率空间[p(0),p(1)]=[ p, 1-p ],

H(X)= - p(0)logp(0) - p(1) logp(1)=-plogp-(1-p)log(1-p)

p(0)=0, p(1)=1, H(X)=0

p(0)=1, p(1)=0, H(X)=0

p(0)=p(1)=1/2, H(X)=1 bit

图2-2给出了二元独立信源的熵函数特性。

图2-2 二元独立信源的熵函数

在解决这类问题时,主要是确定信源空间,信源空间确定后,就可以得到自信息量和信源熵。

确定信源空间时主要是概率论的问题,例如信源符号状态数(事件样本总数);符号产生概率。2.2.2 熵函数的性质

熵函数可以表示为:

性质1:非负性;

H(X)≥0

由于0≤pi≤1,所以logpi≤0,-logpi≥0,则总有H(X)≥0。

性质2:对称性;

根据加法交换律可以证明,当变量交换顺序时熵函数的值不变。

信源的熵只与概率空间的总体结构有关,而与各概率分量对应的状态顺序无关;

同时反映了Shannon信息熵的局限性,不能描述主观意义。

性质3:确定性;

当信源X的信源空间[X,P]中。任一个概率分量等于1,根据完备空间特性,其它概率分量必为0,这时信源为一个确知信源,其熵为0。

如果一个信源的输出符号几乎必然为某一状态,那么这个信源没有不确定性,信源输出符号后不提供任何信息量。

性质4:连续性;

当信源的某一概率分量发生微小波动,而要求符号状态数保持不变时,其它分量必然发生相应的微小变化,形成另一个信源X’,其信源空间为:

X’:

x1

x2

xi

xn

P:

p1+ε1

p2+ε2

pI-εi

pn+εn

其中

信源X’的熵为:

当微小波动趋于0时,有

这说明熵函数为一个连续函数。

性质5:扩展性

当信源的某一概率分量发生微小波动,而要求符号状态概率保持不变时,必然增加新的分量,形成另一个信源X’,其信源空间为:

X’:

x1

x2

xi

xn

xn+1

xn+k

P:

p1

p2

pi-εi

pn

pn+ε1

pn+εk

其中:

信源X’的熵为:

当微小波动趋于0时,有

这说明信源空间中增加某些概率很小的符号,虽然当发出这些符号时,提供很大的信息量,但由于其概率接近于0,在信源熵中占极小的比重,使信源熵保持不变。2.2.3 离散信源的最大熵

(一)一般离散信源的最大熵

在数学上可以证明熵函数存在最大值,离散信源的熵函数有n个变量,有一个约束条件,作一个辅助函数:

其中:λ为待定系数,由=0,可得n个方程:

……

即:-(1+logpi)+λ=0,n个方程。

1+logpi=λ; 取以e为底

pi=eλ-1

再由约束方程可得:

ne(λ-1)=1; e(λ-1)=1/n; 可知:pi=1/n

可知:当p1=p2=……=pn=1/n时,

Hmax(X)=H(1/n, 1/n,……,1/n)=logn

这个结果称为离散信源得最大熵定理。它表明,在所有符号数相同,而概率分布不同的离散信源中,当先验概率相等时得到的熵最大。最大熵的值取决于符号状态数,状态数越多,熵越大。

(二)均值受限的离散信源的最大熵

在增加一个约束条件的情况下,求离散信源的最大熵,

做辅助函数:

这时可求得离散信源得最大熵为

(作为作业)2.3 共熵与条件熵2.3.1 联合信源的共熵

⑴联合信源的概率空间:

联合信源可以认为有两个信源X,Y组成:

X:

x1, x2,…… xi…… xn

P(X):

p(x1),p(x2),……p(xi),……p(xn)

Y:

y1, y2,…… yi,…… yn

P(Y):

p(y1),p(y2),……p(yi),……p(yn)

用这两个信源组成一个联合信源,其联合概率空间为:

(X,Y):

x1y1,…… x1ym, x2y1,…… x2ym,…… xny1,……xnym

P(X,Y):

P(x1,y1) …p(x1,ym), p(x2,y1)…p(x2,ym),……p(xny1)…p(xn,ym)

其中状态(xi,yj)为联合信源输出的一个状态。

⑵联合信源共熵的表达式:

联合信源的共熵:联合信源输出一个组合消息状态(xi,yj)所发出的平均信息量。

联合信源的独立熵:

将联合信源看成两个独立的信源(当然实际上可能并不是相互独立的)时,各自信源的熵即为独立熵。

⑶概率的基本关系:

当X,Y独立时,有p(x,y)=p(x)p(y)。

2.3.2联合信源的条件熵

一个联合信源(X,Y)的条件熵定义为:信源Y(或X)输出任一状态后,信源X(或Y)输出任一状态所发出的平均信息量。

2.4 离散信道的平均交互信息量

以上讨论的信源符号状态的自信息量和信源的熵是描述信源的特性,但是对于一个通信系统来说,最主要的问题是接收者收到信息的能力。在信源与接收者之间是由信道连接的,这里要开始讨论信道的问题。2.4.1离散信道的数学模型

设离散信道的输入为一个随机变量X,相应的输出的随机变量为Y,如图所示:

规定一个离散信道应有三个参数:

输入符号集:X={x1, x2, …. xn}

输出符号集:Y={y1, y2, …. ym}

信道转移概率:P(Y/X)={p(y1/x1),p(y2/x1),…p(ym/x1),……p(y1/xn)…p(ym/xn)}

图2-3 离散信道模型

离散信道主要有三种描述方法。

⑴概率空间描述

X={x1,x2,……xn}

P(Y/X)={p(yj/xi)} (i=1,2,……n; j=1,2,……m)

Y={y1,y2,……ym}

0≤p(yj/xi)≤1

这表明信道有一个输入就一定有一个输出。

⑵转移矩阵描述

矩阵[P]称为转移矩阵或信道矩阵;表示为:

[P]=

y1

y2

ym

x1

p(y1/x1)

p(y2/x1)

p(ym/x1)

x2

p(y1/x2)

p(y2/x2)

p(ym/x2)

xn

p(y1/xn)

p(y2/xn)

p(ym/xn)

[P]矩阵为一个n×m矩阵,其每行元素之和等于1。

⑶图示法描述

离散信道的图示法描述如图2-4所示。

图2-4 离散信道图示法

以上是离散信道数学模型的三种表示方法,可以根据具体问题选用。

[例2-6] 二元对称信道(BSC)

X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;

[P]=

0

1

0

1-p

p

1

p

1-p

图2-5 二元对称信道图示法

[例2-7] 二元删除信道

X={0,1}; Y={0,?,1}

[P]=

0

?

1

0

1-p

p

0

1

0

p

1-p

图2-6 二元删除信道图示法2.4.2 X与Y的关系

这里可以把X看作信道的输入,Y看作信道的输出;也可以把XY看作一个联合信源的输出。假设X的信源空间为:

X:

x1, x2,…… xi…… xn

P(X):

p(x1),p(x2),… …p(xI),……p(xn)

信道转移矩阵为[P];

[P]=

y1

y2

ym

x1

p(y1/x1)

p(y2/x1)

p(ym/x1)

x2

p(y1/x2)

p(y2/x2)

p(ym/x2)

xn

p(y1/xn)

p(y2/xn)

p(ym/xn)

联合概率

P(X=xi,Y=yj)=p(xi,yj)

p(xi,yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj) (i=1,2,…n) (j=1,2,…m)

yj的概率

P(Y=yj)=p(yj)

[p(y1),p(y2),…p(ym)]=[p(x1),p(x2),…p(xn)][P]

后验概率

P(X=xi/Y=yj)=p(xi/yj)

(i=1,2,…n) (j=1,2,…m)

并且有:(根据P(xi,yj)=P(yj)P(xi/yj)

这表明:当信道输出一个符号yj时,一定是有一个输入符号xi输入信道。

对于给定的信道[P],如果已知先验概率p(xi),则可以求出p(xi,yj)、P(xi/yj)和p(yj)。2.4.3 交互信息量

⑴定义:信息传输的根本问题是,对于给定的信道计算收到一个yj后,从yj中获取关于xi的信息量。这个信息量称为互信息量,记为I(xi,yj)。

I(xi,yj)={接收yj前接收者对xi存在的不确定度}-

{接收yj后接收者对xi仍存在的不确定度}

=通信前后接收者对xi不确定度的变化量(减少量)

=H(xi)-H(xi/yj)=I(xi)-I(xi/yj)

其中:

⑵由p(xi,yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)

可以得到如下结果:

I(xi,yj)=I(xi)-I(xi/yj)=I(yj)-I(yj/xi)

I(xi,yj)=I(yj,xi) 称为交互信息量

⑶得到两个公式

由以上两个公式可以看到:只要已知某一个信源符号的先验概率及相应的转移概率,就可以得到相应的交互信息量。

⑷后验概率与交互信息量

已知交互信息量=log(后验概率/先验概率),这里分析后验概率对交互信息量的影响。

p(xi/yj)=1 I(xi,yj)=log(1/p(xi))=I(xi) H(xi/yj)=0

收到yj后可以准确无误地判断xi,相当于无噪声信道,收到yj获得的信息量就等于xi的自信息量。

p(xi)0 H(xi)>H(xi/yj)

收到yj后判断信源发出xi的概率,大于收到yj之前判断信源发出xi的概率,通信后接收者对信源符号xi的不确定度减少了,获得的信息量大于0。

p(xi/yj)=p(xi) I(xi,yj)=0 H(xi)=H(xi/yj)

收到yj后判断信源发出xi的概率,等于收到yj之前判断信源发出xi的概率,通信后接收者对信源符号xi的不确定度没有变化,获得的信息量等于0。

0收到yj后判断信源发出xi的概率,小于收到yj之前判断信源发出xi的概率,通信后接收者对信源符号xi的不确定度不但没减少,反而增加了,获得的信息量小于0。

结论:I(xi,yj)≤I(xi)

互信息量总是小于等于自信息量,接收者收到的信息量不可能大于信源发出的信息量,只有当信道为无噪声信道时,接收信息量才等于信源发出的信息量。可以这样理解:

0≤p(xi/yj)≤1

由于底大于1的对数为严格的上凸函数,则有:

即:I(xi,yj) ≤I(xi)

[例2-8] 一个二元信道,p(M)=p(S)=1/2,求互信息量I(xi,yj)。

解:利用先验概率和转移概率求出后验概率;

可得:p(xi=M/yj=M)=5/8; p(xi=S/yj=M)=3/8; p(xi=S/yj=S)=3/4; p(xi=M/yj=S)=1/4;

可分别求出互信息量I(xi,yj)=log(p(xi/yj)/p(xi)):

I(M,M)=0.322 bit; p(xi=M/yj=M)=5/8>p(xi=M)=1/2

I(S,S)=0.585 bit; p(xi=S/yj=S)=3/4>p(xi=S)=1/2

I(S,M)=-0.415 bit; p(xi=S/yj=M)=3/8< p(xi=S)=1/2

I(M,S)=-1 bit p(xi=M/yj=S)=1/4< p(xi=M)=1/22.4.4 平均交互信息量

定义:交互信息量接收者通过某一个信道[P]从一个信源[p(xi)]获得某一符号xi信息量的问题,但它不能完全反映一个信道的整体特性,因此,这里定义平均交互信息量。

对于给定的信道模型;{X, P(Y/X), Y},其平均互信息量为:

这个关系可以这样来理解:将I(xi,yj)在X空间取平均:

其中(j=1,2,…m),然后在将I(X,yj)在Y空间取平均:

根据概率关系可得:

进一步还可以得到:

平均交互信息量给出了信道传输一个信源符号所传递的平均信息量,对于给定的信道和信源平均交互信息量是一个确定的量,

平均交互信息量实际上就是接收者收到一个符号通过信道从信源所获得的平均信息量,因此也称为平均接收信息量。

利用熵的概念来描述交互信息量,

疑义度

I(X,Y)=H(X)-H(X/Y)

其中条件熵H(X/Y)称为疑义度,可疑度,,它表示接收者收到Y后,对信源X仍然存在的平均不确定度。对于接收者来说,H(X)称为先验不确定度,H(X/Y)称为后验不确定度。平均交互信息量等于不确定度的变化量。

扩散度(噪声熵)

I(X,Y)=H(Y)-H(Y/X)

其中条件熵H(X/Y)称为扩散度,噪声熵,,它表示发信者发出X后,对信道输出Y仍然存在的平均不确定度。对于发信者来说,H(Y)称为先验不确定度,H(Y/X)称为后验不确定度。平均交互信息量等于不确定度的变化量。

联合熵(共熵)

I(X,Y)=H(X)+H(Y)-H(X,Y)

其中熵H(X,Y)称为联合熵,共熵,,它表示通信完成之后,观察者对通信系统仍然存在的平均不确定度。对于观察来说,H(X)+H(Y)称为先验不确定度,H(X,Y)称为后验不确定度。平均交互信息量等于不确定度的变化量。

结论:

I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(X,Y)

图2-7给出了平均交互信息量、信源熵,信宿熵,联合熵,疑义度和扩散度之间的关系。

图2-7 熵函数及交互信息量的关系

它们之间的关系可以用上图给出。相交部分为交互信息量I(X,Y)。

[例2-9] 已知一个二元信源连接一个二元信道,如图给出。求I(X,Y),H(X,Y),H(X/Y),和H(Y/X)。

X={x1,x2}, [p(xi)]={1/2,1/2}。

解:(1)求联合概率

p(x1,y1)=0.5×0.98=0.49

p(x1,y2)=0.5×0.02=0.01

p(x2,y1)=0.5×0.20=0.10

p(x2,y2)=0.5×0.80=0.40

(2)求p(yj)

p(y1)=p(x1,y1)+p(x2,y1)=0.49+0.10=0.59

p(y2)=p(x1,y2)+p(x2,y2)=0.01+0.40=0.41

(3)求p(xi/yj)

p(x1/y1)=p(x1,y1)/p(y1)=0.831

p(x2/y1)=p(x2,y1)/p(y1)=0.169

p(x1/y2)=p(x1,y2)/p(y2)=0.024

p(x2/y2)=p(x2,y2)/p(y2)=0.976

(4)求熵

H(X)=1 bit/符号

H(Y)=0.98 bit/符号

H(X,Y)=1.43 bit/符号

I(X,Y)=H(X)+H(Y)-H(X,Y)=0.55 bit/符号

H(X/Y)=0.45 bit/符号

H(Y/X)=0.43 bit/符号2.5 平均交互信息量的特性

平均交互信息量I(X,Y)在统计平均的意义上,描述了信源、信道、信宿组成的通信系统的信息传输特性。这一节将进一步讨论I(X,Y)的数学特性,重点介绍其特性的结论和其物理意义。2.5.1 I(X,Y)的非负性

我们知道,如果f(x)为一个上凸函数,则在x的取值范围内存在一个xi使f(x)为最大值。当x为大于0的实数时,底大于1的对数logx是x的严格上凸函数。可以证明若f(x)为上凸函数,则有:f{∑pixi}≥∑pif(xi),如f(x)=logx,则有:

log{∑pixi}≥∑pilogxi

根据这个关系,考虑平均交互信息量,

I(X,Y)= ∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(yj)]

则:

-I(X,Y)= ∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)]

≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)]

=log{∑p(xi) ∑p(yj)}=0

所以有:I(X,Y) ≥0

只有当P(X,Y)=P(X)P(Y),即对于所有的i=1,2,…n, j=1,2,…m。都有:

p(xi,yj)=p(xi)p(yj),才有:I(X,Y)=0

交互信息量可能出现负值,但平均交互信息量不可能出现负值。

接收者收到一个Y的符号,总能从中获取道关于信源X的信息量,只有当XY相互独立时,平均交互信息量才为0。

由I(X,Y)=H(X)-H(X/Y),可知,在信息传输过程中,后验熵不可能大于先验熵,这种特性称为后熵不增加原理。

当XY相互独立时,p(xi,yj)=p(xi)p(yj)

可得:H(X,Y)=H(X)+H(Y)

当XY相互独立时,p(yj/xi)=p(yj)

可得:H(Y/X)=H(Y)

当XY相互独立时,p(xi/yj)=p(xi)

可得:H(X/Y)=H(X)

由交互信息量的定义可知:

I(X,Y)=H(X)+H(Y)-H(X,Y)

=H(X)-H(X/Y)

=H(Y)-H(Y/X)=02.5.2 平均交互信息量的交互性

由于p(xi,yj)=p(yj,xi)

则:I(X,Y)=I(Y,X)(对于一个信息系统来说)

交互性表明在Y中含有关于X的信息,I(X,Y);在X中含有关于Y的信息,I(Y,X);而且两者相等。实际上I(X,Y)和I(Y,X)只是观察者的立足点不同,对信道的输入X和输出Y的总体测度的两种表达形式。

两个园相交的部分为平均交互信息量,可见,平均交互信息量的大小体现了X和Y的相关程度。X和Y相互独立,交互性最小,I=0;

X和Y完全相关,交互性最大,I=H(X)=H(Y);H(X/Y)=H(Y/X)=0,相当于信道无信息损失。

[例] 下列为X和Y完全相关的例子。

其相应的信道转移矩阵分别为:

[P1]=

1

0

0

[P2]=

1

0

0

0

1

0

0

0

1

0

0

1

0

1

0

[P3]=

0

1

0

[P4]=

0

0

1

1

0

0

0

1

0

0

0

1

1

0

0

这种信道的特点是:n=m,每行只有一个元素为1,每列只有一个元素为1。其转移概率不为1,就为0。这时有:

所以有:I(X,Y)=I(Y,X)=H(X)=H(Y)2.5.3 平均交互信息量的极值性

平均交互信息量I(X,Y)不可能超过信源熵H(X),

证明:因为H(X/Y) ≥0 所以有I(X,Y)=H(X)-H(X/Y)≤H(X) (作业)

同样可以证明:H(Y/X) ≥0 所以有I(X,Y)=H(Y)-H(Y/X)≤H(Y) (作业)

疑义度、噪声熵总是大于等于0,平均交互信息量总是小于信源熵或信宿熵。

在信道的输出端Y得到的关于输入端X的信息量不会超过信源X的平均信息量。

通过两个例题看两种特殊情况。

[例2-9] 扩展性无噪声信道。当信道输入一个X值,相应有几个Y值输出,且互不重合,这时条件熵(疑义度)H(X/Y)=0,且H(Y)≥H(X)。看三种这样的信道:

(a) (b) (c)

信道转移矩阵分别为:

1/3

2/3

0

1/3

0

2/3

0

1

0

[P]=

0

0

0

[P]=

0

1

0

[P]=

1/3

0

2/3

0

0

1

0

0

0

0

0

0

由于其矩阵的每一列元素只有一个非零元素,所以后验概率不等于1,就等于0

即:

这时可知疑义度H(X/Y)=0,平均交互信息量达到最大值I(X,Y)=H(X)。从平均意义上讲,这种信道可以把信源的信息全部传递给信宿。这种每列只有一个非0元素的信道也是一种无噪声信道,称为具有扩展性能的无噪声信道。

这时再考察噪声熵H(Y/X),设先验概率为p(x1),p(x2),p(x3)。

(log1=0)

(加一项减一项p(x)lop(x))

=H(Y)-H(X)

考虑到:p(y1)=p(x1)(1/3); p(y2)=p(x1)(2/3); p(y3)=p(x3);

所以:H(Y/X)=H(Y)-H(X)

由于H(Y/X)为大于等于0,所以H(Y)≥H(X);

得到的结论为:这时的信宿熵将大于信源熵。因此称为扩展信道。

熵函数的性质(补充)

性质6:熵函数的强可加性

设有两个相互关联的信源,X,Y,信源空间分别为:

[X.P]=

x1

x2

xn

p(x1)

p(x2)

p(xn)

[Y.P]=

y1

y2

ym

p(y1)

p(y2)

p(ym)

其条件概率为:p(yj/xi), ∑p(yj/xi)=1 (i=1,2…n),再有XY的完备空间条件,可以证明:H(X,Y)=H(X)+H(Y/X) 这个关系称为熵函数的强可加性。(作业)

性质7:熵函数的可加性

当信源X,Y相互独立时,有H(X,Y)=H(X)+H(Y),这个关系称为熵函数的可加性。(作业)。

[例2-10]并归性无噪声信道,当Y是X的确定函数,但不一一对应,不同的X,可以同一个Y值输出,且不同的Y对应的X 不同,这时H(Y/X)=0, H(X)≥H(Y)。如:

相应的信道转移矩阵分别为:

[P]=

1

0

0

[P]=

0

1

0

1

0

0

0

0

1

0

1

0

0

1

0

这类信道的转移概率等于1或者等于0,每一列的元素可有一个或多个1,可知其噪声熵H(Y/X)=0,此时的平均交互信息量达到最大值。

I(X,Y)=H(Y)-H(Y/X)=H(Y)

这时可以证明,其疑义度H(X/Y)=H(X)-H(Y),并且H(X)≥H(Y),(作业)。

①通过这两个例题可以进一步理解条件熵的概念,疑义度和噪声熵都是由于信道噪声引起的,当信道转移概率是一一对应的确定关系时,疑义度和噪声熵等于0。

②一个X产生多个Y,称为扩展信道,在扩展信道中若[P]中每列只有一个非0元素,H(X/Y)=0,即疑义度=0,称为扩展性无噪声信道,否则称为扩展噪声信道。

③多个X产生一个Y,称为归并信道,在归并信道中若[P]中元素为0或1,H(Y/X)=0,即噪声熵=0,称为归并性无噪声信道,否则称为归并噪声信道。2.5.4 平均交互信息量的凸函数性

已知平均交互信息量为

它只是先验概率p(xi)和信道转移概率p(yj/xi)的函数,可以记为:

I(X,Y)=I[p(xi),p(yj/xi)]

即:如果信道固定,I(X,Y)就是先验概率的函数,如果信源固定,I(X,Y)就是信道转移概率的函数。可以进一步证明:

当信道一定时,平均交互信息量是信源先验概率的上凸函数;(证明略)

这就是说,对于一定的信道转移概率分布,总可以找到一个先验概率分布为pm(xi)的信源X,使平均交互信息量达到相应的最大值Imax,这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax。或者说Imax是P(Y/X)的函数。

[例2-11] 设二元对称信道的信源空间为:X={0,1}; [P(X)]={ω, 1-ω};

平均交互信息量为:I(X,Y)=H(Y)-H(Y/X);因为已知转移概率,所以利用这一个公式。

其中:

H(Y/X)=-∑∑p(xi)p(yj/xi)logp(yj/xi)

=∑p(xi){-[plogp+(1-p)log(1-p)]}

=H(p)

其中:记H(p)= -[plogp+(1-p)log(1-p)]

另外:为了求H(Y),利用p(yj)= ∑p(xi)p(yj/xi);可得:

p(y=0)=ω(1-p)+(1-ω)p

p(y=1)=ωp+(1-ω)(1-p)

所以:H(Y)=-{[ω(1-p)+(1-ω)p]log[ω(1-p)+(1-ω)p]+[ωp+(1-ω)(1-p)]log[ωp+(1-ω)(1-p)]}

=H(ω(1-p)+(1-ω)p)

可得平均交互信息量为:

I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p)

根据这个关系,当p值一定,即固定信道,可知I(X,Y)是ω的上凸函数,其曲线如图2-7所示。

图2-7 I(X,Y)的上凸函数特性

从图中可知,当BSC信道的信道矩阵固定后,若输入符号集X的概率分布不同,在接收端平均每个符号获得的信息量就不同。只有当输入为等概分布时即,p(0)=p(1)=1/2时,接收端的信息量才为最大值[1-H(p)]。这就是平均交互信息量的上凸函数性质。

当信源一定时,平均交互信息量时信道转移概率的下凸函数;(证明略)

这就是说,对于一个已知先验概率为批P(X)的离散信源,总可以找到一个转移概率分布为pm(Y/X)的信道,使平均交互信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均交互信息量的最小值是由体现了信源本身的特性。

[例2-11]:在例2-11中,I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p),当固定信源先验概率分布ω时,I(X,Y)是信道转移概率p的下凸函数,如图所示。

图2-8 I(X,Y)的下凸函数特性

从图中可知,当信源固定后,存在一种BSC信道,p=(1-p)=1/2,使在信道输出端获得信息量最小,即等于0。也就是说,信源的信息全部损失在信道中了。这是最差的信道,这个性质说明,每个信源都存在一种最差的信道,此信道的干扰最大。2.5.5 平均交互信息量的不增性

在一些实际信道中,常常出现串联信道的情况。结论是串联信道输出端获得的信息量不会大于信源发出的信息量。(略)2.6 离散信道的信道容量

信道容量是表征信道最大传信能力的信道参量。2.6.1 熵速率与信道容量

平均交互信息量I(X,Y)是通信系统{X, P(Y/X), Y}输出一个符号传输的信息量,也就是接收熵,熵就意味着平均。当符号速率为n符号/秒时,其熵速率为:

R=nI(X,Y)=n[H(X)-H(X/Y)]=n[H(Y)-H(Y/X)] bit/s

对于一个无噪声信道来说:R=nI(X,Y)=nH(X) bit/s

由于参数n与信道和信源无关,因此一般在分析中可以表示为:n=1;即

R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)] bit/符号

熵速率既是先验概率的函数,也是信道转移概率的函数,为了专门描述一个信道的特性,这里定义信道容量。

信道容量是在给定信道条件下(即一定的信道转移概率),对于所有可能的信源先验概率的最大熵速率。它表示为:

当符号速率为n符号/秒时,信道容量也可以表示为:

即:

注意:信道容量C与信源无关,只是信道转移概率的函数,不同的信道就有不同的信道容量。它反映了信道本身的传信能力。2.6.2 信道容量的计算方法

由信道容量的定义,信道容量就是在固定的信道条件下,对所有可能的先验概率求平均交互信息量的最大值。

作辅助函数

由于对p(xi)求导,所以∑p(x)-1中的-1没有关系。求辅助函数对p(xi)的偏导,置为0,得下列方程组。

由此方程组可以解得使I(X,Y)达到最大值的信源先验概率分布和待定系数λ,然后求出信道容量C。

可以得到通式:

(i= 1,2,….n)

由:

得:

根据:

这里要注意:与p(xi)有关。

因此利用全微分公式:

得:

其中:

利用换底公式:及微分公式:

得:

而:

所以:

从而:

根据:

可得:

因此由可以得到

这时n个方程组为:

(i= 1,2,….n)

这是一个方程组,n+1个未知数,n+1个方程。

假设使I(X,Y)为最大值时的先验概率为p(x1),p(x2),….p(xn),将它们分别乘到上面n个方程组的两边,然后n个求和。可得:

可见如果p(x1),p(x2),….p(xn)为最佳先验概率分布,则上式左边就是信道容量,因此:

C=λ+loge

再将这个关系代入方程组,得到n个方程变为:

即:

(i=1,2,…n)

移项后得:

(i=1,2,…n)

将其代入上式得:

(i=1,2,…n)

这是一个含有m个未知数,n个方程的非齐次方程组。如果n=m,信道转移矩阵为非奇异矩阵,则方程组有解。由

可以解出βj;

由约束条件:

由此式可得信道容量:

;则

由这个C值,根据上面关系求p(yj),再由p(yj) 和p(yj/xi)求信源先验概率分布p(xi)。

即解方程组:

解这个方程组后就可以得到最佳信源先验概率分布。

当n这里讨论三种无噪声信道的信道容量。

①具有一一对应关系的无噪声信道

其信道转移概率图及矩阵如下:

[P]=

0

0

0

0

1

0

0

0

1

0

0

0

1

0

0

0

1

0

0

0

1

0

0

0

0

因为信道转移矩阵的元素均为0或1,所以其噪声熵H(Y/X)=0。

又因为[P]矩阵中每列只有一个非0元素1,所以其疑义度H(X/Y)=0。

所以有:I(X,Y)=H(X)=H(Y)

根据信道容量的定义,

这种信道的特点是:n=m。

②具有扩展性的无噪声信道

其信道转移概率图及矩阵如下:

[P]=

p(y1/x1)

p(y2/x1)

p(y2/x1)

0

0

0

0

0

p(y4/x2)

p(y5/x2)

因为[P]矩阵中每列只有一个非0元素,所以其疑义度H(X/Y)=0。

有: I(X,Y)=H(X),则:

具有扩展性的无噪声信道的信道容量等于信源的最大熵。

③具有归并性的无噪声信道

其信道转移概率图及矩阵如下:

[P]=

1

0

1

0

1

0

0

1

0

1

由于信道转移矩阵中的元素均为1和0,所以这个信道的噪声熵H(Y/X)=0。有:

I(X,Y)=H(Y)

根据信道容量的定义:

这表明当随机变量Y为等概分布时,才能达到这个信道容量。由p(yj)与p(xi)和p(yj/xi)的关系可知:

p(y1)=p(x1).1+p(x2).1+p(x3).1

p(y2)=p(x4).1+p(x5).1

只要当p(y1)=p(y2)时,这是p(xi)的分布是不唯一的。

通过以上三个例子可知;无噪声信道的信道容量只决定于信道的输入符号数n,或输出符号m(它们都是信道本身的特征参数),与信源无关,信道容量C是表征信道本身特性的一个参量。2.6.4 强对称离散信道的信道容量

如果离散信道的输入/输出符号空间及信道转移矩阵如下:[n=m]

X={x1,x2,……xn} P[X]={p(x1),p(x2),……p(xn)}

Y={y1,y2,……yn} P[Y]={p(y1),p(y2),……p(yn)} n=m

[P]=

1-ε

ε/(n-1)

ε/(n-1)

ε/(n-1)

1-ε

ε/(n-1)

ε/(n-1)

ε/(n-1)

1-ε

这种信道{X, P(X/Y), Y}称为强对称信道。

为了求出平均交互信息量I(X,Y)=H(Y)-H(Y/X),先求H(Y/X);

H(Y/X)=-∑∑p(xi)p(yj/xi)logp(yj/xi)

由于熵函数的对称性,有:(熵与信源状态得顺序无关)

……

=-{(1-ε)log(1-ε)+εlogε-εlog(n-1)}

=H(ε)+ εlog(n-1)

上式说明,强对称信道的噪声熵H(Y/X)就是信道转移矩阵中任一行n个元素组成的熵函数值,它决定于信道的错误概率ε和符号个数n。

根据信道容量的定义:

由最大熵定理可知:

下面分析当p(xi)为何时,才能达到上述信道容量。已知p(yj)=1/n,和信道转移概率,可以得到以下线性方程组。

p(yj)=∑p(xi)p(yj/xi) (j=1,2,…n)

从这个方程组可得,只有当p(xi)=1/n时,才能使p(yj)=1/n。

对于强对称信道,只有当信源等概分布时,才能使其达到信道容量C。

对于强对称信道,当信源等概分布时,可以证明H(X)=H(Y)=logn,

对于强对称信道,当信源等概分布时,还可以证明H(Y/X)=H(X/Y)

[例2-11]: BSC的信道矩阵如下:

可得信道容量为(当n=2)

当然只有当p(x1)=p(x2)=1/2时,才能达到这个信道容量。2.6.5 对称信道的信道容量

如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的,并且每一列也是由这一组元素组成的,则称为对称信道。例如

[P]=

1/3

1/3

1/6

1/6

1/6

1/6

1/3

1/3

[P]=

1/2

1/3

1/6

1/6

1/2

1/3

1/3

1/6

1/2

对称矩阵与强对称信道的区别在于:

①强对称信道要求n=m,对称信道不要求;

②强对称信道每行之和及每列之和都等于1,对称信道每行之和等于1,而每列之和不一定等于1;

③强对称信道的矩阵为对称矩阵,对称信道的矩阵不一定是对称矩阵;

利用I(X,Y)=H(Y)-H(Y/X), 考虑到[P]每行都由同一元素集合构成,利用熵函数的对称性:

所以,这种对称信道的条件熵H(Y/X)就等于信道矩阵中任何一行m个元素的熵函数。因此,其信道容量为:

下面的问题是当p(xi)为何种分布时,p(yj)才能为等概分布。根据对称信道的[P]每一行元素相同的特点,由p(yj)=∑p(xi)p(yj/xi)的关系可知,只有当xi为等概时,yj才会等概。因此有:

p(x1)=p(x2)=……=p(xn)=1/n 时,p(y1)=p(y2)=……p(ym)=1/m。2.7 平稳随机序列信源

前面讨论的是单符号离散信源和单符号离散信道的信息特性。这一节开始讨论随机矢量或随机序列信源(多符号信源)的情况。通常这种信源是很复杂的,通常要进行简化分析。首先应当注意以下几点:

①实际信源多为相关信源;而前面讨论的为无记忆信源(不相关);

②为了讨论相关信源,考虑一下多符号信源和扩展信源;

③在相关信源中只讨论一种特例--马尔科夫信源;

④为平稳随机序列,即统计特性不随时间改变;

⑤随机序列为有限等长度,每个信源消息由N个符号序列组成,

实际的多符号信源为:

如果认为平稳序列,则为:

其中每个信源状态为:

为一个有限长度的多维随机序列,如果不考虑顺序i,可以记为:

[X]=X1,X2,X3,…XN2.7.1 离散无记忆信源的扩展信源

A.假设条件

这里对离散平稳随机序列信源做进一步假设。

我们假设多符号离散平稳信源

[X]=X1,X2,…XN 或

中,符号的随机变量Xi都取值于同一个信源空间,

[Xi,P]=

x1

x2

x3

xn

p(x1)

p(x2)

p(x3)

p(xn)

我们假设多符号离散平稳信源

[X]=X1,X2,…Xi…XN

中,各变量Xi(i=1,2,…N)之间统计独立,即

P(X)=P(X1,X2,…Xi…XN)=P(X1)P(X2)P(X3)…P(XN)

到目前为止,我们介绍的离散无记忆信源包括两层意思:

①单符号离散无记忆信源,p(x1,x2,…xn)=p(x1)p(x2)…p(xn)

②多符号离散无记忆信源,P(X1,X2,…XN)= P(X1)P(X2)P(X3)…P(XN)

在这种假设前提下,可以把多符号离散平稳信源看作单符号离散平稳信源的N次扩展信源。通常N次扩展信源,记为XN。

B. N次扩展信源的信源空间

因为信源XN的每一个消息[Xi]=[Xi1,Xi2,……XiN]均由信源X的符号集X:{x1,x2,…xn}中的N个符号组成,所以,XN 的某一个具体符号Xi可以表示为

[Xi]=(Xi1,Xi2,……XiN)

Xij∈X:{x1,x2,…xn},这个关系表明扩展信源的每个符号取值于同一个单符号信源空间,X:{ x1,x2,…xn}。

因此扩展信源XN 就有nN 种不同的符号,可以表示为

[XN ]: {[X1],[X2],…[Xi],…[XnN]}; (i=1,2, nN)

例如n=2, N=2, [X]={X1,X2} [XN ]: {[X1],[X2],[X3],[X4]}

X:{x1=0,x2=1} [X1]=00; [X2]=01; [X3]=10; [X4]=11;

所以平稳离散无记忆信源[X,P]的N次扩展信源的信源空间为:

[XN,P]:

XN

X1

X2

XnN

P(XN)

p(X1)

p(X2)

p(XnN)

并且有:

表明该信源概率空间也是一个完备空间。

C. N次扩展信源的熵

根据熵函数的定义:

利用p(Xi)=p(xi1,xi2,…xiN)的关系和p(xi1,xi2,…xiN)=p(xi1)p(xi2)…p(xiN)[无记忆信源],可以得到:

再考虑到无记忆信源,H(X1)=H(X2)=…=H(XN),可以得到:

H(XN)=N.H(X)

单符号平稳离散无记忆信源的N次扩展信源是一种最简单的多符号信源。

如果单符号平稳离散无记忆信源[X]=[X1,X2,…XN]中的各变量Xi取值于不同的单符号离散无记忆信源[Xi,P]。

[Xi,P]:

Xi

xi1

xi2

xin

P(Xi)

p(xi1)

p(xi2)

p(xin)

(i=1,2, … N)

这种信源称为多符号离散无记忆信源,可以证明这种信源的熵为:

其中H(Xi)为单符号离散信源[Xi,P]的熵。

[例2-12]: 离散无记忆信源的N次扩展信源

单符号离散无记忆信源为:X:{x1,x2,x3}; P(X):{1/4, 1/2, 1/4}

信源X的N=2次扩展信源,[X]=[X1,X2]

[X2]:{X1,X2,X3,…..X9} 因为:nN=9。

这个2次扩展信源的9个消息符号分别为:

X1=x1,x1

X4=x2,x1

X7=x3,x1

X2=x1,x2

X5=x2,x2

X8=x3,x2

X3=x1,x3

X6=x2,x3

X9=x3,x3

其概率关系为:p(Xi)=p(xi,xj)=p(xi)p(xj),(无记忆信源)。可以得到扩展信源空间:

[X2,P]=

X1

X2

X3

X4

X5

X6

X7

X8

X9

1/16

1/8

1/16

1/8

1/4

1/8

1/16

1/8

1/16

计算可知:H(X2)=3 bit/2符号;

并可计算原来的单符号离散无记忆信源的熵为:H(X)=1.5 bit/符号。

可见:H(X2)=2 H(X) 2.7.2 二维离散平稳有记忆信源的信源熵

这里介绍最简单的离散平稳有记忆信源,即二维信源。

[X]=X1,X2

所谓有记忆信源就是一种相关信源,每个消息由两个符号组成,后一个符号与前一个符号有一个概率表明相关性,(这是一种近似处理方法,只考虑消息组内的相关性)。

设离散平稳信源的信源空间为:

[X,P]=

x1

x2

x3

xn

p(x1)

p(x2)

p(x3)

p(xn)

且有∑p(xi)=1,同时有一维条件概率为“

P{X2=xj/X1=xi}=P{X2+T=xj/X1+T=xi}=p(xj/xi) ,表明为平稳序列。

(i=1,2,…,n; j=1,2,…,n)

[X]=X1,X2 的符号集中的一个[Xi]=(xi1, xi2)

xi1,xi2∈X:{x1,x2,…xn}; i1,i2=1,2,…,n

i=1,2,3,…,n2

且有:p(Xi)=p(xi1,xi2)=p(xi1)p(xi2/xi1)

这时可得二维信源[X]=X1,X2的信源空间:

[X,P]=

X1

X2

X3

Xn2

p(X1)

p(X2)

p(X3)

p(Xn2)

即信源空间为完备空间。可得二维信源的一个消息(两个符号)所提供的平均信息量为:

其中:H(X1)表示信源发出第一个符号所能提供的平均信息量,H(X2/X1)表示在第一个符号已知的前提下,第二个符号所提供的平均信息量。

二维离散平稳有记忆信源每发一个消息所能提供的平均信息量是一种联合熵,这种信源的熵等于第一个随机变量的熵加上第一变量已知的条件下第二个变量的条件熵。其中:

当随机变量X1X2相互独立时,有H(X)=H(X1,X2)=H(X1)+H(X2)。可以证明:

二维离散平稳有记忆信源的熵满足:H(X1,X2)≤H(X1)+H(X2),(作业)

[例2-15] 设某二维离散信源的原始信源的信源空间

X={x1,x2,x3}; P(X)={1/4, 1/4, 1/2}, 一维条件概率P{X2=xi/X1=xj}为:

p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0;

p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8;

p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4;

原始信源的熵为:

H(X)=1.5 bit/符号

条件熵:H(X2/X1)=1.4 bit/符号

可见:H(X2/X1)二维信源的熵:H(X1,X2)=H(X1)+H(X2/X1)=2.9 bit/消息

每个信源符号提供的平均信息量为:

H2(X1,X2)=H(X1,X2)/2=1.45 bit/符号。

前面已经说到:二维离散平稳有记忆信源,或者N维离散平稳有记忆信源只是实际有记忆信源的一种简化和近似。对于实际信源来说,是一种无限长的序列,符号间相关性可以延伸到无穷。因此,离散平稳有记忆信源输出一个符号提供的平均信息量为:

这个熵称为离散平稳有记忆信源的极限熵。2-7-3 马尔柯夫信源

为了顺利地讨论马尔柯夫信源,首先介绍一下马尔柯夫链的概念。(1)马尔柯夫(Markov)链

①马尔柯夫链定义:

一个随机序列{X(t), t=1,2,3,…}取值于正整数空间I={0,1,2,……},或者为I的子集,

如果有:P{ X(1)=x1, X(2)=x2,……,X(t)=xt}>0;

而且有:P{X(t+1)=xt+1/X(1)=x1,X(2)=x2,……,X(t)=xt}=P{X(t+1)=xt+1/X(t)=xt}

xi∈I={0,1,2,……} ; i=1,2,…

则称为序列{X(t)}为马尔柯夫(Markov)链。这种序列具有马尔柯夫性,也叫无后致性。

注意:t和i均取整数。

②马尔柯夫链的含义:

可以这样理解:序列{X(t)}的“将来”只与“现在”有关而与“过去”无关。

③马尔柯夫链的状态:

马尔柯夫链序列{X(t)}中的某一个符号X(ti)的数值一定为I中的某一个元素i(或j),这时,称i(或j)为随机序列的一个状态Si。

④马尔柯夫链的一步转移概率

马尔柯夫(Markov)链的统计特性用条件概率(状态转移概率)来描述:

在时刻t和t+1有

P{X(t+1)=j/X(t)=i}=pij(1)(t)= pij(t) 这称为马氏链的一步转移概率。为马尔柯夫链从状态i变为状态j的条件概率。

它满足:

pij(1)(t)≥0 i j ∈I

⑤马尔柯夫链的K步转移概率:

其k步转移概率为:为马尔柯夫链从状态i经过k步(k个单位时间)后变为状态j的条件概率。

P{X(t+k)=j/X(t)=i}=p(k)ij(t)

它满足:

p(k)ij(t)≥0 i j ∈I

⑥马尔柯夫链的转移概率关系:

这里不加证明的给出一个概率关系。

马尔柯夫链的n=k+l步转移概率与1步转移概率的基本关系为:

其中s也是马尔柯夫链的一个状态。

其含义为:马尔柯夫链在时刻t从状态i经过n=k+l步,转移到状态j的n步转移概率,等于这个马尔柯夫链在时刻t从状态i经过k步到达状态s的k步转移概率,乘上在(t+k)时刻从中间状态s经l步到达状态j的l步转移概率,然后再将这个乘积对所有可能的中间状态求和。

设k=1,l=1,则:

⑦有限(可列)马尔柯夫链的转移概率矩阵:

如果I为整数有限集合(1,2, …r),则相应的马尔柯夫链为可列马尔柯夫链。对于这种马尔柯夫链,其t时刻的n步转移概率共有r2个概率组成。用矩阵表示为:

[P(n)(t)]=

i

j

p11(n) (t)

p12(n) (t)

p1r(n) (t)

p21(n) (t)

p22(n) (t)

p2r(n) (t)

pr1(n) (t)

pr2(n) (t)

prr(n) (t)

对于马尔柯夫链,我们不加证明地给出如下结论:

马尔柯夫链的n步转移概率,可以有起始时刻的概率和中间所有各时刻的所有一步转移概率来完整描述。即

[P(n)(t)]=[P(t)][P(t+1)][P(t+2)]……[P(t+n-1)]

⑧平稳马尔柯夫链的性质:

如果马尔柯夫链是平稳的,即与时刻无关,与t无关,则有:

[P(n)(t)]=[P(n)]=[P][P][P]……[P]=[P]n

我们讨论的马尔柯夫链只是这种最简单的情况。

这种平稳马氏链称为齐次马氏链。由于这种齐次马尔柯夫链的转移概率与时间无关,因此去掉其时间变量t,其中的一步转移概率为pij(1)= pij,k步转移概率为pij(k),n步转移概率为pij(n)。一步转移概率矩阵为:

[P]=

i

j

p11

p12

p1r

p21

p22

p2r

pr1

pr2

prr

其n步转移概率可以有[P]得到:

[P(n)]=[P][P]……[P]=[P]n;(齐次马氏链)(2)各态历经定理

①各态历经定理:

若对一个有限(I为有限正数)齐次马氏链,存在一个正整数n0>1 ,对于一切i,j=1,2,…,r 都有pij(n0)>0 (矩阵[P(n0)]中的所有元素大于0)

则对于每个 j=1,2,…..,r都存在不依赖i的极限pj(每个状态都以一定的概率出现,而无论其原始状态为何)。

则称这个马氏链是各态历经的。

其中的极限概率pj={p1,p2,…pr}是方程组

满足条件

的唯一解。

这个定理的证明比较复杂,这里不介绍。

②各态历经定理的含义:

如果一个有限的、齐次的马尔柯夫链满足各态历经定理,则说明经过一定时间后这个马尔柯夫链所有状态均有一个稳定的出现概率。而且这个概率的值与其起始状态无关。

各态历经就是各个状态相通,不会有一个或几个状态到一定步骤后总也不出现。

定理一方面说明了极限概率的存在性,无限步转移概率就等于极限概率。

另一方面给出了极限概率的求法,已知一步转移概率就可以求出极限概率,条件是必须满足定理,并利用边界条件。

③状态极限概率的求法:

根据各态历经定理,满足这个定理的马尔柯夫链的极限概率就是各状态的稳态概率,注意它不是转移概率,不是条件概率,在信源中它相当于先验概率。pj=p{X(t)=j}=P{X=j}。

由各态历经定理给出的方法,如果用矩阵表示极限概率和一步转移概率:

状态极限概率:[P]=[Pi]=[Pj]=[p1,p2,p3,……pr]

一步转移概率:

[P]=[P(1)]=

i

j

p11

p12

p1r

p21

p22

p2r

pr1

pr2

prr

则有:

[Pj]T=[P(1)]T.[Pj]T

④例题1:

[例2-16]: 设一个马氏链有三个状态,状态取值于X:{0,1,2},其一步转移概率为:

其中p>0,q>0。

[P(1)]=

i\\j

0

1

2

=

0

1

2

0

p00

p01

p02

0

q

p

0

1

p10

p11

p12

1

q

0

p

2

p20

p21

p22

2

0

q

p

这时pij(1)>0不满足,不能判断是否具有各态历经性,看二步转移矩阵。

[P(2)]=[P(1)][P(1)]=

0

1

2

0

q2+pq

qp

p2

1

q2

2qp

p2

2

q2

qp

qp+p2

这时pij(2)>0满足,可以判断具有各态历经性,其状态极限概率(稳态概率)可以由方程得到:

p0

q

q

0

p0

p0=qp0+qp1 由这四个方程求解

p1=pp0+qp2

p2=pp1+pp2; p0+p1+p2=1; pj>0

p1

=

p

0

q

p1

p2

0

p

p

p2

由一步状态转移矩阵求极限概率的基本关系为:

[Pj]T=[P(1)]T.[Pj]T T表示矩阵的转置。

⑤例题2:

如果上面的例题中,一步转移概率矩阵为:

[P(1)]=

i\\j

0

1

2

=

0

1

2

0

p00

p01

p02

0

1

0

0

1

p10

p11

p12

1

q

0

p

2

p20

p21

p22

2

0

0

1

则可以发现:[P(n)]=[P(1)]n=[p(1)],因为[P(2)]=[P(1)],所以 [P(n)]= [P(1)]

所以它不满足各态历经定理,即不存在状态极限概率。(3)状态转移图

有限齐次马氏链除了用转移矩阵描述外还可以用状态转移图来表示。

例如上面的例题对应的状态图为:

①齐次马氏链为一个不可约闭集,即对马氏链中的任意两个状态,总可以从一个状态经过有限步数转移到另一个状态;

②齐次马氏链具有非周期性,从一个状态到另一个状态的步数不能具有周期性;(4)马尔柯夫信源

①m阶马尔可夫信源定义:

马尔柯夫信源是一种特殊的、比较接近实际的离散平稳有记忆信源。

如果一个离散平稳有记忆信源[X]=……X1,X2,…,Xm,Xm+1,Xm+2,……中,任一时刻(m+1)的随机变量Xm+1只依赖于它前面的m个随机变量,与更前面的变量无关,称为记忆长度为m的离散平稳有记忆信源,也称为m 阶马尔柯夫信源。

②m阶马尔柯夫信源的信源状态:

这时把m阶马尔柯夫信源[X(i)]=(X1,X2,…Xm)某一个具体取值(可以理解为信源连续m个输出符号)表示为X(i)=Si=(xk1,xk2,……,xkm) 称为一个状态。

xk1,xk2,……,xkm∈X:{x1,x2,…,xr}为原始信源状态空间;

k1,k2,…km=1,2,…r

i=1,2,…. rm

同时把信源下一个符号输出后的信源状态[X(i+1)]=[X(j)]=(X2,X3,…Xm+1)的某一取值Sj称为另一个状态,Si为Sj的前一状态。m 阶马尔柯夫信源的状态空间为S:{S1,S2,…,Srm},

③m阶马尔柯夫信源的信源状态转移概率:

马尔柯夫信源的一个状态由m个符号组成,当信源再输出一个符号时,信源变为另一个状态,所以从Si到Sj的一步转移概率为:

p(Sj/Si)=p(xkm+1/xk1xk2…xkm) 为一个条件概率;其中:

(k1,k2,…km=1,2,…,r; km+1=1,2,…,r)

(i,j=1,2,….rm)

也可以简单表示为:

④m 阶马尔柯夫信源空间:

X:{ x1 x2 xr}

P:{ p(xkm+1/xk1 xk2 …xkm)…}

且有:

或者用状态空间表示:

S:{S1,S2,…,Srm},

⑤m 阶马尔柯夫信源的极限熵:

根据 m 阶马尔柯夫信源的定义,及平稳性,有:

p(xkN/xk1 xk2 …xkm xkm+1,…xkN-1)=p(xkN/xkN-m xkN-m+1,…xkN-1)

=p(xkm+1/xk1 xk2 …..xkm), 这样,可以得到m 阶马尔柯夫信源的极限熵:

=H(Xm+1/X1X2…Xm)

这表明,m 阶马尔柯夫信源的极限熵就等于m阶条件熵,记为:Hm+1。

⑥用状态转移概率表示极限熵:

p(Sj/Si)=p(xk/Si)=p(xkm+1/xk1xk2…xkm) 或p(xk+1/Si)

这时极限熵可以表示为:

从以上分析可以看到,m 阶马尔柯夫信源的分析是实际信源的一种简化,把一个无限的问题转化为有限量的计算问题。(即:对于信源状态来说是一个马尔可夫链)

已知m 阶马尔柯夫信源的状态一步转移概率后,求极限熵的问题就在于得到极限概率p(Si),(i=1,2, …nm),而p(Si)就是马尔柯夫信源在稳定状态时的各状态的极限概率。所以,首先要判断信源是否具有各态历经性,如果有,则可以由一步转移概率求出极限概率。

⑦例题1:

[例2-17]: 一个二进制二阶(m=2)马尔柯夫信源的原始信源为X:{0,1},即r=2,m=2,这时的状态空间为:S: {S1=00, S2=01, S3=10, S4=11},共有rm=22=4个不同的状态。已知其一步转移概率为:

0/00

00

p(0/00)

p(0/S1)

p(S1/S1)=0.8

1/00

01

p(1/00)

p(1/S1)

p(S2/S1)=0.2

0/01

10

p(0/01)

p(0/S2)

p(S3/S2)=0.5

1/01

11

p(1/01)

p(1/S2)

p(S4/S2)=0.5

0/10

00

p(0/10)

p(0/S3)

p(S1/S3)=0.5

1/10

01

p(1/10)

p(1/S3)

p(S2/S3)=0.5

0/11

10

p(0/11)

p(0/S4)

p(S3/S4)=0.2

1/11

11

p(1/11)

p(1/S4)

p(S4/S4)=0.8

信源空间S:{S1,S2,S3,S4} p(Sj/Si) (i=1,2,3,4);可得到信源状态转移图为:

一步转移概率矩阵为:

[P(1)]=

0.8

0.2

0

0

0

0

0.5

0.5

0.5

0.5

0

0

0

0

0.2

0.8

由状态图可以判断,这是一个非周期不可闭集,具有各态历经性,根据各态历经定理的方法同样可以判断,存在状态极限概率。有:

p(S1)

=

0.8

0

0.5

0

p(S1)

p(S2)

0.2

0

0.5

0

p(S2)

p(S3)

0

0.5

0

0.5

p(S3)

p(S4)

0

0.5

0

0.8

p(S4)

其约束条件为:

p(S1)+p(S2)+p(S3)+p(S4)=1

p(Si)>0 (i=1,2,3,4) 解得其极限概率分别为:

p(S1)=p(S4)=5/14; p(S2)=p(S3)=2/14

由极限概率和状态转移概率就可以计算马尔柯夫信源的极限熵:

= 0.8 bit/符号

另外,还有的离散有记忆信源即马尔柯夫信源是已知极限概率和转移概率,求信源熵的。

注意:马尔柯夫信源的熵就是其极限熵,也就是一个条件熵。

⑧例题2:

[例2-18]: 一个一阶马尔柯夫信源的原始信源为X:{x1,x2,x3},已知其先验概率和一步转移概率,求其极限熵。

p(x1)=11/36; p(x2)=4/9; p(x3)=1/4;

[P(1)]=

9/11

2/11

0

1/8

3/4

1/8

0

2/9

7/9

其状态图如图示:

可得原始信源熵和极限熵为:H(X)=1.542 bit/符号

H1+1=H(j/i)=H(Xj/Xi)=0.89 bit/符号。

也可以用各态历经的验证方法:

[P(2)]=

9/11

2/11

0

9/11

2/11

0

1/8

3/4

1/8

1/8

3/4

1/8

0

2/9

7/9

0

2/9

7/9

可知:[P(2)]中pij>0,其极限概率存在。

p(x1)

9/11

1/8

0

p(x1)

p(x2)

=

2/11

3/4

2/9

p(x2)

p(x3)

0

1/8

7/9

p(x3)

可得:p(x1)=(9/11)p(x1)+(1/8)p(x2)

p(x2)=(2/11)p(x1)+(3/4)p(x2)+(2/9)p(x3)

p(x3)=(1/8)p(x2)+(7/9)p(x3)

在考虑:p(x1)+p(x2)+p(x3)=1

同样可以得出:p(x1)=11/36; p(x2)=4/9; p(x3)=1/4;2.7.4 信源的剩余度

关于离散信源熵的总结:

实际信源非平稳的有记忆随机序列信源;其极限熵是不存在的;

解决的方法是假设其为离散平稳随机序列信源,极限熵存在,但求解困难;

进一步假设其为m阶Markov信源,用其极限熵Hm+1近似;

再进一步假设为一阶Markov信源,用其极限熵H1+1(X2/X1) 来近似;

最简化的信源是离散无记忆信源,其熵为H(x)=H1 (X);

最后可以假定为等概的离散无记忆信源,其熵为H0(X)=logn;

它们之间的关系可以表示为:

logn=H0(X)≥H1(X)≥H1+1(X)≥H2+1(X)≥…≥Hm+1(X)≥H∞

可见离散有记忆信源的记忆长度越长,信源熵越小,而独立且等概的信源,熵最大。

剩余度:

用来衡量由于信源内部的消息状态的相关性和分布性,使其熵减少的程度称为剩余度。

相对熵:= H∞/H0=[(实际信源熵)/(离散信源最大熵)]

=H(X)/Hmax(X)

内熵(信息熵差):= H0- H∞[(最大熵)-(实际信源熵)]

=H(X)-Hmax(X)

剩余度:

[例]上面的例题中其剩余度为:

E=1-(0.89/log3)=43.8% 说明信源X有43%的剩余,只有57%是纯信息。

[例]英文字母信源:

H0=log27=4.76 bit (等概)

H1=4.02 bit (不等概)

H1+1=3.32 bit (一阶M-信源)

H2+1=3.1 bit (二阶M-信源)

H∞=1.4 bit 2.8 关于离散信源熵的几个基本关系定理1:(最大熵定理)

如果X为一个离散随机变量X:{x1,x2,……xn},则

如果pi=1,则

如果pi=1/n,则

证明过程中利用一个重要的不等式,称为Jensen不等式;

如果f(x)为一个严格的上凸函数,则在其取值范围内有:

如果f(x)为一个严格的下凸函数,则在其取值范围内有:

其中E〔〕为均值。

可以证明为一个严格的上凸函数,因此根据Jensen不等式,

其实就是离散信源的最大熵定理。定理2:(I(X,Y)的非负性)

如果X,Y为离散随机变量,交互信息量I(X,Y) ≥0。只有当X,Y独立时I(X,Y)=0。

(可以证明)。

同样可以证明:。关系1:

I(X;Y)=I(Y;X);--从Y中获得关于X的信息量;等于从X中获得关于Y的信息量。

I(X;Y)=H(X)-H(X/Y)-- 从Y中获得关于X的信息量,等于收到Y之前对X的平均不确定度减去收到Y后对X仍然存在的平均不确定度。

I(X;Y)=H(Y)-H(Y/X)

I(X;Y)=H(X)+H(Y)-H(X,Y)

实际上可以理解为:

对于X:{x1,x2,x3,……xn}. [P]:{p1,p2,p3,……pn}

根据哈特来公式:;则平均不确定度为:

同样可以得到其他量的物理含义:

同时要知道以下关系:

I(xi),H(xi),H(X),H(xi/yj),H(X/yj),H(Y/xi),H(X,yj),H(xi,Y)

其它关系式如何表示?大家都要明白。关系2:

我们看一个串联信道的交互信息量的问题。

图2-10 串联信道模型

X,Y,Z为离散随机变量,定义交互信息量I(X.Y,Z)为从Z中获得关于X和Y的信息量。参照I(X,Y)的定义,可得:

定理3:

对于串联信道X,Y,Z,其中X,Y,Z为离散随机变量,则

也就是说:从Z中获得关于X和Y的信息量不会小于从Z中获得关于Y的信息量。

只有当时,才有等号成立。

实际上是说,只有当X,Y,Z为一个马尔可夫链时,等号才成立。定理4:(串联信道交互信息量)

对于串联信道X,Y,Z,其中X,Y,Z为离散随机变量,如果X,Y,Z为一个马尔可夫链时,则

这个定理的含义是信息经过信道传输或者经过数据处理,只能越传越少,越处理越少,不能增加。因此也成为平均交互信息量的不可增加性。只能损失信息量。当然这里的条件是马尔可夫链,没有考虑其他人或知识参与。定理5:

I(X,Y)是关于随机输入变量X的概率p(x)的上凸函数。

证明:

假定信道转移概率p(y/x)已经确定。我们考虑三个不同的随机离散信源X、X1和X2。

X: {x1,x2,x3,……xn} P1:{ p(x1), p(x2),p(x3),……p(xn)}

X1: {x1,x2,x3,……xn} P1:{ p1(x1),p1(x2),p1(x3),……p1(xn)}

X2: {x1,x2,x3,……xn} ..P2:{ p2(x1),p2(x2),p2(x3),……p2(xn)}

根据数学上凸函数的定义。

如果取:

只要证明,定理即得到证明。

应用jesen不等式,

所以:

即: 定理6:

I(X,Y)是关于信道转移概率p(y/x)的下凸函数。

证明:

假定先验概率p(x)已经确定。我们考虑三个不同的信道转移概率。

根据数学上凸函数的定义。

如果取:

只要证明,定理即得到证明。

(作业)关系3:(多符号信源的熵)

如果一个有限长度的随机向量:,也称为n维随机变量。他的联合概率分布函数为:;其中每个xi都是相应Xi的取值范围中的一个值。则n维随机变量(n符号信源)的熵函数为:

可以证明,上述所有有关一维随机变量的性质对于n维随机变量都是适用的。

根据定理3和定理4,有一个重要的物理含义。关系4:(数据处理定理)

我们看一个通信系统模型。

图2-11 通信系统模型

其中的四个多维随机向量分别为:

原始信源的k维随机向量;

编码器输出,信道输入的n维随机向量;

信道输出,译码器输入的n维随机向量;

译码器输出的k维随机向量;

这里包含着不同维数向量的映射,通信的目的就是从Y中映射出V,并最大限度地与U一致。(恢复,再现或近似)。

一个基本观点就是,对于一个可以实现的通信系统,四个随机向量[U,X,Y,V]应当成为一个马尔可夫链,即每个向量只依赖于它的输入向量。

根据串联信道的基本关系可得:

因此可得:

这个结果就是著名的“数据处理定理”。它的含义是:由编码器和译码器所进行的信息处理(数据处理)过程只能损失信息。理论上讲,噪声信道的输出Y所包含的信源X的信息要大于译码器输出V。当然在实际中译码器和编码器总是需要的。定理7:(信源扩展)

为信道输入的n维随机向量;

为信道输出的n维随机向量;

如果[X]的各分量是相互独立的,则:

证明:

假定信源为独立的n维多符号离散随机信源;则:

同时:

因此:

即:

这里说明了一个问题,假设信源X是独立的,信道输出Y也是独立的,(注:实际通信系统不可能是这样的,信道输出总是相关的)。这时多符号输出Y提供的关于X的信息量大于每一个输出Yi关于每一个Xi的信息量之和。

第一章 引论

1

1.1 信息与信息科学

1

1.1.1 信息的概念

1

1.1.2 信息科学

1

1.1.3 信息的性质

2

1.1.4信息论

2

1.2 通信系统的基本模型

3

1.2.1 通信系统模型

3

1.2.2 通信系统的基本要求

4

1.3 信息论的发展历史

4

1.4 本课程的主要内容

4

第二章 离散信源的熵

5

2.1 离散信源的数学模型

5

2.1.1 单符号离散信源的数学模型

5

2.1.2 信源符号不确定性的度量

5

2.1.3 信源符号的自信息量

6

2.2 单符号离散信源的熵

7

2.2.1 信源熵的概念

7

2.2.2 熵函数的性质

8

2.2.3 离散信源的最大熵

10

2.3 共熵与条件熵

11

2.3.1 联合信源的共熵

11

2.3.2联合信源的条件熵

12

2.4 离散信道的平均交互信息量

12

2.4.1离散信道的数学模型

13

2.4.2 X与Y的关系

15

2.4.3 交互信息量

16

2.4.4 平均交互信息量

18

2.5 平均交互信息量的特性

20

2.5.1 I(X,Y)的非负性

20

2.5.2 平均交互信息量的交互性

21

2.5.3 平均交互信息量的极值性

22

2.5.4 平均交互信息量的凸函数性

25

2.5.5 平均交互信息量的不增性

27

2.6 离散信道的信道容量

27

2.6.1 熵速率与信道容量

27

2.6.2 信道容量的计算方法

28

2.6.3 离散无噪声信道的信道容量

31

2.6.4 强对称离散信道的信道容量

33

2.6.5 对称信道的信道容量

34

2.7 平稳随机序列信源

35

2.7.1 离散无记忆信源的扩展信源

36

2.7.2 二维离散平稳有记忆信源的信源熵

38

2-7-3 马尔柯夫信源

40

(1)马尔柯夫(Markov)链

40

(2)各态历经定理

42

(3)状态转移图

44

(4)马尔柯夫信源

44

2.7.4 信源的剩余度

48

2.8 关于离散信源熵的几个基本关系

49

定理1:(最大熵定理)

49

定理2:(I(X,Y)的非负性)

50

关系1:

50

关系2:

51

定理3:

51

定理4:(串联信道交互信息量)

51

定理5:

51

定理6:

52

关系3:(多符号信源的熵)

53

关系4:(数据处理定理)

53

定理7:(信源扩展)

54

信息论第1章.doc

信息论第1章 - 信息论与编码讲义,萧宝瑾主编,通信专业的基础学科... 信息论第1章_工学_高等教育_教育专区。信息论与编码讲义,萧宝瑾主编,通信专业的基础学科 ......[本文更多相关]

信息论讲义第6章.doc

信息论讲义(2讲) 88页 免费 信息论讲义-第四章 58页 5财富值 信息论讲义(4讲) 75页 免费 信息论讲义(1讲) 101页 免费 信息论讲义_第二讲 69页 5财富......[本文更多相关]

讲义11.doc

讲义11 - 《信息论》研究生课程讲义 第一章 引论 1-1 信息与信息科学 1-1-1 信息的概念 ▲ 信息的定义:很难给出,信息的定义是信息论研究的一个基本内容......[本文更多相关]

高一信息技术期中考试1-2章知识要点.doc

高一信息技术期中考试1-2章知识要点 - 章综合知识 知识梳理 信息技术 1—2 章综合知识梳理 第一章 信息与信息技术 美国科学家申农发表了《通信的......[本文更多相关]

第十讲 解题信息论.doc

6页 1财富值 信息论——习题解答 25页 10财富值 信息论讲义-第四章(10讲)...第一过程的暴露 , 其二是对初步思路反思的元认知过程(我们叫做第二过程的暴露)......[本文更多相关]

讲义62循环码.doc

讲义62循环码 - 《信息论》讲义(第六章) 6-2 循环码(Cyclic Co...[本文更多相关]

信息论讲义第3-5章.doc

信息论讲义第3-5章 - 一本不错的信息论与编码的教科书。适合通信、电子等专业的学生。... 信息论讲义第3-5章_信息与通信_工程科技_专业资料。一本不错的信息......[本文更多相关]

信息论第四讲.doc

信息论第四讲 - 2.2 重要定理 2.2.1 链式法则 从定理 2.1 ,我们...[本文更多相关]

信息论第2章作业.doc

信息论第2章作业 - 19 第 2 章作业 1. 同时扔一对均匀的骰子,当得知“...[本文更多相关]

讲义41信源编码.doc

讲义41信源编码 - 《信息论》课程讲义 第四章 信源编码 4-1 离散信源的信源编码 通信的根本目的就是有效而可靠地传输信息。 Shannon 信息论中的一个重要内容......[本文更多相关]

信息论第5章.doc

信息论第5章 - 信息论与编码讲义,萧宝瑾主编,通信专业的基础学科... 信息论第5章_工学_高等教育_教育专区。信息论与编码讲义,萧宝瑾主编,通信专业的基础学科 ......[本文更多相关]

讲义72.doc

讲义72 - 《信息论》研究生课程讲义(第七章) 7-2 卷积码的维特比译码 7-2-1 卷积码的状态图描述 卷积码的编码器是一个时序网络, 其工作过程可以用一个......[本文更多相关]

信息论第二章答案.doc

信息论第二章答案 - 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍? 解: 四进制脉冲可以表示 4 个不同的消息,例如:{0, 1, 2, 3} 八......[本文更多相关]

信息论第4章.doc

信息论第4章 - 信息论与编码讲义,萧宝瑾主编,通信专业的基础学科... 信息论第4章_工学_高等教育_教育专区。信息论与编码讲义,萧宝瑾主编,通信专业的基础学科 ......[本文更多相关]

信息论第七章.doc

信息论第七章 - 成都理工大学信息论与编码作业第七章... 第七章习题 (P170) ?0 1 1 1 0 0 ? ? 7...信息论讲义-第七章 35页 2下载券 信息论与编码......[本文更多相关]

信息论习题答案第二章---陈前斌版.doc

信息论习题答案第二章---陈前斌版 - 第 2 章习题 2-3 同时掷两个正常的骰子,也就是各面呈现的概率都是 l/6,求: (1) “3 和 5 同时出现”事件的自......[本文更多相关]

信息论与编码理论第二章习题答案(王育民).doc

信息论与编码理论第二章习题答案(王育民) - 部分答案,仅供参考。 2.1 信息...[本文更多相关]

信息论第三章答案(南邮研究生作业).doc

信息论第三章答案(南邮研究生作业) - 3.3 3.4 设二元对称信道的传递矩阵为 ? ? ? ? ? 2 3 1 3 1 3 2 3 ? ? ? ? ? (1) 若 P(0) = 3/......[本文更多相关]

信息论第五章答案.doc

信息论第五章答案 - x3 x4 x5 x6 x7 ? ? X ? ? x1 x2 5.1 设信源 ? ?? ? ? ? P( X )? ?0.2 0.19 0.18 0.17 0.15 0.1......[本文更多相关]

西安电子科技大学信息论与编码理论讲义.doc

西安电子科技大学信息论与编码理论讲义 - 《信讲 息义 论》 204 教研室 2005 年 11 月 主要内容: 第一章 绪论 第二章 离散信源及其信息测度 第三章 离散......[本文更多相关]

2011北二外MTI汉语写作与百科知识(全) - 翻译硕士 考研....txt

上页下页1/2 music005lost |设置 |我的中心 |...高校历年真题笔记讲义内部笔记辅导讲义导师复习题跨校...[2003]字第798号 / 因特网信息服务(ICP)电信业务......[本文更多相关]

2011东南大学MIT汉语写作和百科知识 - 翻译硕士 考研论坛.txt

上页下页1/2 music005lost |设置 |我的中心 |...高校历年真题笔记讲义内部笔记辅导讲义导师复习题跨校...[2003]字第798号 / 因特网信息服务(ICP)电信业务......[本文更多相关]

中南大学翻译硕士(MTI)2011考研试题(回忆版) - 翻译硕....txt

上页下页1/2 music005lost |设置 |我的中心 |...高校历年真题笔记讲义内部笔记辅导讲义导师复习题跨校...[2003]字第798号 / 因特网信息服务(ICP)电信业务......[本文更多相关]

华图钻石班笔记之申论(看完包过).txt

1全面,概括(材料的主要信息点,信息内涵是对于决策和...(思想,利益,素质,制度,技术):——看讲义P48 2)...,不能一概而论。题型三、启示类题目模式:第一步......[本文更多相关]

淘尽黄沙始得金——金融学考研必读之二.txt

《辅导讲义》之类的书籍,它是对大纲的解析,把大纲...社第五版(绿皮书),书中大题可以酌情练习,但每章...据麦肯锡公司分析,目前我国受托管理资产规模大概1.2......[本文更多相关]

风险管理1.txt

风险管理1 - 银行从业资格考试风险管理讲义第 1 章 风险管理基础 风险管理水...[本文更多相关]

浙江大学金融学第二名李峰——考研心得.txt

浙江大学金融学第二名李峰——考研心得 - 高考历史、文综历史专题复习【全部完成】... 黄老师采用自己编的《高等数学辅导教材》授课,课堂信息量相当大讲义更是覆盖了......[本文更多相关]

广告(2).txt

专论 中国广告20年猛进史(1979-2003) 背景 ...市场营销讲义2 暂无评价 8页 18.00 ...第二章 广告的翻译 暂无评价 31页 1下载券 ......[本文更多相关]

自考“数量方法(二)”复习资料.txt

9页 1财富值 自考-数量方法-讲义一 15页 免费 自考...(领会) 1、数据描述的三个领域:现实世界、信息世界...22 第二章 关系模型本章为次重点章,我们经常使用......[本文更多相关]

考研专业课复习三大核心问题(1).txt

这些信息,考生可以找目标院校目标专业的在读研究生...第三:相关考核科目的笔记讲义,这些是指目标院校开设...(2)笔记法看完一节或一章, 分享到: X 分享到......[本文更多相关]

H43-知识管理宝典目录.txt

├<IMBA讲义-变革管理(ppt69)> │ └IMBA讲义:...股市博弈论中篇-理论篇(doc36)> │ └博弈论中篇...第1章[2.1].ppt │ │ ├管理学:第2章[2.1......[本文更多相关]

2011考研政治-毛中特10道大题,为陈先奎老师预测.txt

文档信息举报文档 可不可以长大些贡献于2010-12-09...(讲义P91P94、第八章第四节、2000题P54) 1为什么...⑷还要看到,中国是一个大国,中国的发展无论在资源......[本文更多相关]

易学书籍.txt

《紫微命理》讲义-细论星情《251數君王姓名學詳解...《冰鑑剛柔章》 《冰鑑容...[本文更多相关]

2010同等学力申硕经济学综合真题.txt

解析:该题是课堂讲义《西方经济学讲课重点》第12章简答题第1题(1、主流经济学...(3)投资者利益保护论。在现实金融界运行过程中,存在着大量信息不对称的情况,这......[本文更多相关]

H4-MBA工商管理实战案例目录.txt

(第1章-财务报表信息的需求与供给)(ppt21)> │ └第1章 财务信息的需求与...讲义全集(6个pps)> │├<MBA管理学讲义全集(1)> ││├1.pps ││├2.......[本文更多相关]

司考经验1.txt

讲义整理得也很好。 民诉:郭翔。行政法:林鸿潮。...第二个是真题,做过真题的人都知道不论买的哪个...463分过司考的经验续一 暂无评价 2页 1下载券 ......[本文更多相关]

B3-生产经理管理必备宝典目录.txt

文档信息举报文档 wg20032003贡献于2011-01-24 0....1> │ │ │ └“5S”活动的理论与实务研讨讲义...第三章-2_如何推行5S.pdf │ │ │ │ ├第四......[本文更多相关]

一个月:非英语专业生的8.5.txt

文档信息举报文档 vivaraza贡献于2010-10-31 0.0...I. y" ?9 i3 u/ @1. 剑2-4的使用方法 3 ...1)参考我的附件——阅读讲义(这个在3gbbs上有down......[本文更多相关]

考研政治哲学.txt

2010考研考研政治哲学讲义 50页 免费 哲学考研试题完全...哲学第1章易错提示(1)哲学和马克思主义哲学不能混同...而马克思主义哲学是科学的世界观和方法论。(2)区分......[本文更多相关]

2012文登考研政治冲刺-马原.txt

文登201 2年考研 政治冲刺班讲义 《马克思主义基本...☆☆ 1.马克思主义最根本的世界观和方法论:辩证...“马克思主义哲学”的基本原理 第二章世界的物质性......[本文更多相关]

[信息论讲义第1-2章]相关文章:

  • 信息论讲义第2章
  • 信息论讲义第2章
  • 信息论讲义-第一章
  • 信息论讲义-第一章
  • 信息论讲义5.1
  • 信息论讲义5.1
  • 中南大学信息论与编码讲义-第二章
  • 中南大学信息论与编码讲义-第二章
  • 信息论与编码 第2章-1
  • 信息论与编码 第2章-1
  • 信息论讲义-第七章
  • 信息论讲义-第七章
  • 信息论第2章资料
  • 信息论第2章资料
  • 信息论与编码第2章-1
  • 信息论与编码第2章-1
  • 第2章1信息论与编码
  • 第2章1信息论与编码
  • 北航信息论讲义(1讲)
  • 北航信息论讲义(1讲)
  • 信息论讲义第1-2章相关搜索
    最新推荐
    热门推荐