信息论讲义第3-5章

来源:互联网 编辑:李元芳 手机版

第三章 连续信源熵与信道容量

上一章我们讨论的为离散信源,实际应用中还有一类信源称为连续信源,这种信源的时间和取值都是连续的,例如语音信号,电视图像信号都是连续信号。

时间离散状态连续的信源熵可以用连续信源熵表示,相当于一个连续随机变量。而时间连续的信源,为一个随机过程,只要信号频谱有限,则可以根据采样定理,将其变为时间离散信源。

信息论中只讨论单变量连续信源,即时间离散状态连续的连续信源。3.1连续信源的熵3.1.1 连续信源熵的定义

①连续信源的状态概率用概率密度来表示。如果连续随机变量X,取值为实数域R,其概率密度函数为p(x),则

如果取值为有限实数域[a,b],则

这时X的概率分布函数为:

②连续信源的数学模型

X:R(或[a,b])

P(X):p(x)

③连续信源熵的表达式

利用离散信源熵的概念来定义连续信源熵,首先看一个再[a,b]取间的连续随机变量,如图3-1。

首先把X的取值区间[a,b]分割为n个小区间,小区间宽度为:

Δ=(b-a)/n

根据概率分布为概率密度函数曲线的区间面积的关系,X取值为xi的概率为:

Pi=p(xi).△

图3-1 连续信源的概念

这样可以得到离散信源Xn的信源空间为:

[Xn,P]:

Xn:

x1

x2

xn

P(Xn):

p(x1)△

p(x2)△

p(xn)△

且有:当n趋无穷时,

按离散信源熵的定义:可得离散信源Xn的熵:

当△趋于0,n趋于无穷时,离散随机变量Xn将接近于连续随机变量X,这时可以得到连续信源的熵为:

其中:连续信源的熵定义为:

①连续信源熵为一个相对熵,其值为绝对熵减去一个无穷大量。H(X)=Hc(X)-∞

②连续信源有无穷多个状态,因此根据SHANNON熵的定义必然为无穷大。

③连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的,而信息量是无限的。

④连续信源熵不具有非负性,可以为负值。

尽管连续信源的绝对熵为一个无穷大量,但信息论的主要问题是信息传输问题,连续信道的输入输出都是连续变量,当分析其交互信息量时是求两个熵的差,当采用相同的量化过程时,两个无穷大量将被抵消,不影响分析。

连续信源的疑义度:

则平均交互信息量为:

I(X,Y)=H(X)-H(X/Y)3.1.2 几种连续信源的熵

⑴均匀分布的连续信源熵

设一维连续随机变量X的取值区间是[a,b],在[a,b]中的概率密度函数是

这种连续信源称为均匀分布的连续信源。其熵为:

这时可以看到:当(b-a)<1时,H(X)<0,即H(X)不具有熵函数的非负性,因为H(X)是相对熵,相对熵可以为负值,但绝对熵仍然为正值。

⑵高斯分布的连续信源熵

设一维随机变量X的取值范围是整个实数R,概率密度函数为:

其中,m是随机变量X的均值

σ2是随机变量X的方差

当均值m=0时,方差σ2就是随机变量的平均功率,

这个信源称为高斯分布的连续信源,其数学模型为:

这时可以得到高斯连续信源的熵为:

这里利用了积分关系

这里的对数是以e为底。当均值为0时,高斯信源的熵为

⑶指数分布的连续信源熵

设一随机变量X的取值取间为[0,∞],其概率密度函数为

则称为指数分布的连续信源。其中常数a为随机变量X的均值。即

指数分布的连续信源的熵为

这里利用积分

(a>0)3.2 连续信源的最大熵3.2.1 连续信源的最大熵

为了求出连续信源的最大熵,将利用数学中的变分法的方法来求解。连续信源的熵为:

其基本约束条件为:

其它约束条件为:

。。。。。。

建立辅助函数:

其中有:

根据极值的条件有:

及m个约束方程,可以确定最大熵和所对应的信源概率密度分布p(x)。下面讨论两种基本信源。

⑴输出幅度受限时的最大熵(瞬时功率受限)

其基本条件为:|x|≤v,x2≤S,这时对应只有一个约束方程,

并且:

可以得到:

这里的对数为以e为底,由约束方程可得:

结论:对于瞬时功率受限的连续信源,在假定信源状态为独立时,当概率密度分布为常数时,信源具有最大熵。其最大熵为:

⑵输出平均功率受限时的最大熵

推导:这时的约束条件为:

可知:

由极值条件:

可得:

将其代入约束条件1,可得:

利用积分公式:

可得:

由:

利用积分关系:

可得:

代入前面的结果:

得到:

得到连续信源获得最大熵时的概率密度函数:

这是一个均值为0的高斯分布。

其最大熵为:

其中利用两个积分关系:

如果平均功率为N=σ2; 则有

结论:(最大熵定理)

对于输出平均功率受限的连续信源,在假设状态相互独立时,当其概率密度函数为高斯分布时,具有最大熵。其最大熵值随功率N的增加而增加。3.2.2 连续信源的熵功率

①对于平均功率受限的连续信源,当信源为高斯分布时有最大熵,如果概率分布不是高斯分布,则信源熵将小于最大熵。熵功率则用来描述连续信源熵的剩余度。即说明信源是可以改造的。

②一个平均功率为N的非高斯分布的连续信源的熵功率等于与其有同样熵的高斯信源的平均功率。

③当非高斯连续信源与高斯信源具有相同熵时,那非高斯信源的平均功率一定大于高斯信源的功率。

④当非高斯连续信源与高斯信源具有相同平均功率时,那非高斯信源的熵一定小于高斯信源的熵。

平均功率为N的非高斯信源的熵功率为:

理解:

⑴当一个非高斯信源的熵与一个高斯信源的熵相等是,非高斯信源的功率一定大于高斯信源的功率;

⑵当一个非高斯信源的功率与一个高斯信源的功率相等是,非高斯信源的熵一定小于高斯信源的熵;

非高斯信源:

高斯信源:

时;

一定有:

时;

一定有:。3.2.3 连续信源的共熵和条件熵

同离散信源相似,连续信源也可定义其共熵和条件熵,其基本关系为:

H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y)

H(X,Y)≤H(X)+H(Y)

H(X/Y)≤H(X)

H(Y/X)≤H(Y)3.3 连续有噪声信道的信道容量3.3.1 连续信道的平均交互信息量

设信道输入的随机变量X的取值为[a,b],信道输出随机变量Y的取值为[a’,b’],信道转移概率为p(y/x), (a≤x≤b,a’≤y≤b’),如图3-2所示。

图3-2 连续信源的交互信息量概念

其连续信道的平均交互信息量为:

I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)

其中熵函数的表达式:

可知:I(X,Y)≥0;即平均交互信息量为非负值,当X,Y相互独立时,p(x,y)=p(x)p(y),I(X,Y)=0。同时有:I(X,Y)=I(Y,X)

与离散信道情况相似,有相应的概率关系:

p(x,y)=p(x)p(y/x)=p(y)p(x/y)

3.3.2 连续信道的熵速率与信道容量

⑴熵速率

在一个高斯白噪声连续信道中,接收随机变量Y为发送消息状态X于噪声n之和。即为加性高斯白噪声信道。

,关系如图3-3所示。

图3-3 连续信道的输入输出关系

接收熵速率为(不考虑符号速率,r=1)

首先考虑X,n的共熵,由于X与n相互独立。

所以有:共熵

注意:由于Y=X+n,有p(x,n)=p(x)p(n),即X与n独立,并且有:

;因为y=x+n;且x与n独立。所以有

即:对于给定的xi, p(y/x)=p(n/x)=p(n)。如图3-4所示。

就是说:加性高斯白噪声连续信道的条件概率密度函数p(y/x)就是噪声n的概率密度函数p(n),这是加性高斯噪声信道的一个重要特征。

图3-4 加性高斯白噪声信道特性

则有:

可得:

熵速率为:

R=H(X)-H(X/Y)=H(Y)-H(n)

结论:在连续有噪声信道上,接收熵速率等于接收得总信息速率H(Y)减去噪声信息速率H(n)。

⑵信道容量(Shannon公式)

与离散信道的信道容量的概念一样,在连续信道中,对于给定的信道[p(y/x)],最大的接收熵速率为信道容量。

当考虑到随机变量X的符号速率为r时:

已知X与n相互独立,则H(n)与p(x)无关。

三点假设:

①信道为加性高斯白噪声信道,功率谱均匀,平均功率为N。

②信道带宽满足信号频谱要求,为W,符号速率为r=2W。

③信源为平均功率受限,信号功率为P。

由于Y=X+n。并且已知为了使H(Y)为最大,Y应为高斯分布(根据连续信源的最大熵定理)。

若Y为高斯分布,同时已知n为高斯分布,则X也应为高斯分布。(Y=X+n)

由此得知:对于高斯白噪声信道,当信源为高斯分布时,接收熵速率为最大。

推导:

设Y为在接收端的一个平均功率受限的信源,功率为P+N;则有:

若把信道噪声看成一个平均功率为N的信源,则有:

这样由信道容量的关系式可得:

这样就得到了Shannon公式, 单位为net/s。

由Shannon公式的理解:

①平均功率一定的高斯信道,其信道容量C与信号带宽W和信号噪声功率比有关。

②平均功率一定的高斯信道,当信源信号为高斯分布时,信道熵速率等于信道容量。

③对于连续信源来说,高斯白噪声信道危害最大,因为H’(n)大使熵速率R减小。

④本公式给出了信道容量的极限值,目前是无法实现的,因为信源不可能为高斯分布。

⑤信道容量的计算比较复杂,一些情况下是可以计算的。3-3-3 Shannon公式的参数互换

由Shannon公式可知:(注意:这时的单位可以为比特,因为它是两个熵函数之差,不同单位的信道容量表达式是相同的。)

如果考虑通信时间为T,在T秒钟传输的总的信息量为:

可以看出为了保持总的信息量不变,T、W、P/N之间的互换关系。

①当信噪比P/N一定时:W↑→T↓,T↑→W↓,时间与带宽互换;

②当传输时间T一定时:W↑→P/N↓,W↓→P/N↑,带宽与信噪比互换;

③当带宽W一定时:T↑→P/N↓,T↓→P/N↑,时间与信噪比互换;

总结:

①连续信源的熵的基本关系式;

②给出信号概率密度函数p(x),求信源的熵;

③Shannon公式的理解,三个参量的互换关系。3.4 关于连续信源熵和山农公式[1]连续信源的剩余度

平均功率为N的非高斯信源的熵为HN(X);令

则HN(X)的熵功率为:

是HN(X)的熵功率。

是这个非高斯信源的剩余度。[2]关于信道噪声

在通信系统中,我们把来自各方面的噪声都集中在一起,认为都是从信道加入的。实际系统的噪声分为外部噪声和内部噪声。外部噪声又分为人为噪声(火花)和自然噪声(大气噪声)。内部噪声包括热噪声(电子热运动)和散粒噪声(器件中电流起伏)。

按噪声性质对信道进行分类:

高斯噪声信道;

白噪声信道;

高斯白噪声信道;

有色噪声信道;[3]高斯噪声信道

信道中的噪声为高斯分布(正态分布)的平稳、各态历经的随机过程。其幅度值的概率密度函数为高斯分布。内部噪声的热噪声和散粒噪声都是高斯噪声。高斯噪声的一维概率密度函数为:

[4]白噪声信道

白噪声信道就是信道中的噪声为白噪声过程,白噪声是一种平稳、各态历经的随机过程。它的功率谱密度在整个频域上为均匀分布,也就是说功率谱密度为常数。

它的幅度值的概率密度函数为任意的。

其中的N0为单边功率谱密度(工程上谱的范围),N0/2为双边功率谱密度(数学上的谱的范围),单位为W/Hz。

可以看到白噪声的相关函数为冲击函数。

严格地讲,白噪声只是一个理想化的数学模型,实际上不可能存在,但是由于它的简单和方便,是设计和分析的有力工具。内部噪声的热噪声和散粒噪声都可以认为是白噪声。[5]高斯白噪声信道

信道中的噪声为高斯白噪声随机过程。即幅度为高斯分布,功率谱为均匀分布的随机过程。电阻的热噪声就是高斯白噪声。通信系统的信道通常都是高斯白噪声信道。

在通信原理中我们知道,高斯白噪声经过低通限带带滤波器后有一个重要特性,就是它的取样值是一个均值为0,方差为N0/2,相互独立的(N=2FT)个高斯分布的随机变量。[6]有色噪声信道

除了白噪声以外的噪声称为有色噪声,这样的信道为有色噪声信道。[7]乘性信道和加性信道

信道输出信号为信道输入信号乘以噪声的信道为乘性信道。这种噪声称为乘性噪声或乘性干扰。如瑞利衰落干扰。

信道输出信号为信道输入信号加上噪声的信道为加性信道。这种噪声称为加性噪声或加性干扰。如高斯白噪声。[8]山农公式

由噪声功率N=N0W。

当带宽增大是信道容量会增加,但是信道容量会随着带宽无限度增加吗?不会。因为带宽增加噪声功率也在增加。

由于

这个结果可以由图表示。

当信号功率一定时,随着带宽增加,信噪比会降低,信道容量不会无限度增加。当带宽增加到一定时,信道容量基本上等于信噪比,这是加性高死白噪声信道的传信率的极限值。

当信道带宽不受限制时,信道传送1比特信息,信噪比只需要0.693。

在这么低的信噪比条件下可以可靠地接收信息是一个极限值。这是人们追求的目标,实际系统要比这个值大得多。

[9]山农公式推导

加性高斯白噪声信道的输入信号X与噪声n相加得到输出的接收信号Y,如图所示。

图3-5 加性高斯白噪声连续信道

根据概率论的相关知识,如果X为N维一个随机变量,Y为一个N维随机变量,并且X与Y有函数关系,Yi=gi(X); Xi=fi(Y); (如Y=X+n),则他们的联合概率密度函数存在关系:

其中J成为雅可比行列式。

对于加性高斯白噪声信道,坐标变换为:

X=X;n=Y-X。

因此: (X与n相互独立)

另外:

则:

最终得到: 第四章 信源编码4.1 离散信源的信源编码

通信的根本目的就是有效而可靠地传输信息。Shannon信息论中的一个重要内容就是它给出了信息传输的有效性和可靠性的极限能力。具体表现为两个编码定理;一般称为Shannon第一编码定理(信源编码定理,有效性编码定理)和Shannon第二编码定理(信道编码定理,抗干扰编码定理)。4.1.1 编码器(Encoder)

我们前面考虑的信源都是离散化的信源,实际上没有考虑到编码的问题。编码的作用可以分为以下面两点:

一些原始信源的符号不适应信道的传输;

原始信源符号的传输效率很低;

编码器可以看作这样一个系统,如图4-1所示。它的输入端为原始信源S,其符号集为S:{s1,s2,…,sn};si(i=1,2,…n);而信道所能传输的符号集为A:{a1,a2,…,aq};编码器的功能是用符号集A中的元素,将原始信源的符号si变换为相应的码字符号Wi,(i=1,2,…,n),所以编码器输出端的符号集为W:{W1,W2,…,Wn}。

S=原始信源符号集;

A=信道码元符号集;

W=码字符号集;(码组)

图4-1 编码器结构原理

Wi=[w1,w2,…wLi] wi∈{a1,a2,…aq}

Li为码字Wi的码元个数,称为码字Wi的码字长度,简称码长。

q=2时,称为二元编码,否则称为q元编码。4.1.2 单义可译码(Uniquely decodable code)

⑴单义可译码定义

如果一个码组的任一有限长的码字序列(一串码字),只能唯一地被译成一个一个码字,则称为单义可译码,也称为异前置码。

例如:S: {s1,s2,s3}; A:{0,1}; W: {w1=0, w2=10, w3=11}, 为单义可译码。

当接收码字序列为:01001100111110 时,可以唯一地译为:w1,w2,w1,w3,w1,w1,w3,w3;

如果码字集合为:W:{0,01,11} 则为非单义可译码。

当接收码字序列为:01001100111110 时,可以译为:w2,w1,w1,w3,w1,w1(w2),……

即可以有不同的译码方法。

⑵瞬时可译码(非续长码)定义

如果一个码组中的任一个码字都不是另一个码字的续长,或者说,任何一个码字后加上若干码元后都不是码组中另一个码字。则称为瞬时可译码,也称为非续长码。

例如:W:{0,10,100,111}不是瞬时可译码,100为10的续长。

瞬时可译码一定是单义的,单义可译码却不一定是瞬时可译码。

例如:W:{0,01}是单义的,但不是瞬时可译码。

⑶单义可译码定理

设原始信源符号集为S:{s1,s2,…sn},码元符号集为A:{a1,a2,…,aq},码字集合为W:{W1,W2,…Wn},其码长分别为L1,L2,…,Ln;则单义可译码存在的充要条件为码长组合满足Kraft不等式,即

①Kraft不等式不仅是单义可译码的充要条件,也是瞬时可译码的充要条件;

②这里所说的充要条件是对于码长组合而言,而不是对于码字本身而言,就是说:满足Kraft不等式的码长组合一定能构成单义码,单义码的码长组合一定满足Kraft不等式。

③有些码字的码长组合满足Kraft不等式,但不是单义码。(编码方法不对)

下面看一个例子:

n=4, q=2 A:{0,1}

信源符号

[W1]

[W2]

[W3]

[W4]

[W5]

[W6]

s1

0

0

0

0

0

00

s2

01

10

11

10

10

01

s3

011

110

100

110

11

10

s4

0111

1110

110

111

110

11

W1:满足Kraft不等式,但只是单义的,不是瞬时可译码;码长组合为1,2,3,4;

W2:满足Kraft不等式,是单义的,也是瞬时可译码;码长组合为1,2,3,4;

W3:满足Kraft不等式,不是单义的,也不是瞬时可译码;码长组合为1,2,3,3;

W4:满足Kraft不等式,是单义的,也是瞬时可译码;码长组合为1,2,3,3;

W5:不满足Kraft不等式,不可能为单义的;码长组合为1,2,2,3;

W6:满足Kraft不等式,是单义的,也是瞬时可译码;为等长码;

⑷用码树图构成瞬时可译码

从根开始,画出q条分支,任选一个分支作为w1;

在另一个分支上再分出q条分支,任选一个分支作为W2;

继续进行,直至结束;

从根到各端点,所经过的状态即为码字;

例如:A:{0,1}, q=2, W:{w1,w2,w3,w4}

图4-2 利用码树图编码方法

这种方法构成的瞬时可译码是不唯一的;

码树图可以用于译码,有根,枝,节点等概念;

同样可以用于q元编码;

例:S:{s1,s2,…s9},A={0,1,2}, q=3

图4-3 利用码树图的三元编码方法

W1=0; W5=20; W9=222;

W2=10; W6=21;

W3=11; W7=220;

W4=12; W8=221;4.1.3 平均码字长度

如果一个码组的参数满足Kraft不等式,就一定可以构成无噪声信道下的无失真传输,然而,在一个通信系统中,信源编码的主要目的是提高编码效率,即每个码元符号要携带更多的信息量。因此要定义平均码长的概念。

设原始信源的信源空间为

[S,P]=

s1

s2

sn

p(s1)

p(s2)

p(sn)

其中:

对此信源用码元符号集A;{a1,a2,…aq}进行编码,得单义可译码W:{W1,W2,…Wn}。相应得码字长度分别为:Li,(i=1,2,…,n)。则这个信源编码的平均码长为:

这时看一下信息传输效率:每个信道码元所携带的平均信息量。

当信源S给定,信源的熵为H(S),则每个信道码元所携带的平均信息量可以表示为

可见,当原始信源一定时,编码后的平均码长越小,信道传信率越高,编码效率越高。

①编码效率可以用平均码长来描述;

②每个码字的长度应当与对应的信源符号的先验概率有关。

为了提高编码效率,总希望平均码长越小越好,但平均码长能否无限小呢?

[定理]: 平均码长极限定理

若一个离散无记忆信源S的熵为H(S),对其进行q元编码,A:{a1,a2,…aq},则总可以找到一种无失真的编码方法,构成单义可译码,使其平均码长满足:

对于常用的二元编码来说:

H(S)≤L[下界证明]根据平均码长和熵的定义有

这里利用数学关系:对数的求和小于求和的对数。

由单义可译码的存在定理可知,当满足∑q-Li≤1时,取对数后为小于等于0。则有:

H(S)-Llogq≤0

L≥H(S)/logq

下界证毕。

平均码长最小不能小于极限值,H(S)/logq,若小于,则不存在单义可译码;

当下界等号成立时,效率最高时,为

可得:

当然这要求信源符号的先验概率满足其是以q为底的对数为整数,这就要求信源符号的先验概率为p(si)=q-Li形式,如果满足这一条件,编出的码字称为最佳码。

例如:S:{s1,s2,s3,s4}; P(S):{1/2,1/4,1/8,1/8}时,编码后码长为[1,2,3,3],这时平均码长将为L=H(S)=1.74 码元/符号。

[上界证明]我们考察在满足Kraft不等式的条件下,平均码长满足下界。

设每个码字的平均码长在以下区间取正整数。

即找到一种选取码长的方法,使其满足这个不等式。

考虑到对数为单调递增函数,则有:

进而有:

对上式的i连续取和:

即:

这表明这样选择每个码字的码长可以满足Kraft不等式,然后对所有的i相加,不等式右边得:

上界证毕。

上界的证明思路:只要有一种方法使上界成立,就说明总可以找到一种方法使上界成立。

平均码长大于这个上界当然也可以构成单义可译码,但实际上总希望码长小;

当一个离散无记忆信源得统计特性确定后,信源熵就确定了,平均编码长度下界也就确定了,编码效率也就确定了,如果进一步提高效率,就要想其它方法。下面得编码定理给出了方法。4.2 编码定理

以下是Shannon编码定理的三种形式。它们是进一步提高编码效率的极限定理。

[定理一]:离散无记忆信源S的N次扩展信源SN,其熵为H(SN),并且编码器的码元符号集为A:{a1,a2,…aq},对信源SN进行编码,总可以找到一种编码方法,构成单义可译码,使信源S中每个符号si所需要的平均码长满足:

说明: H(SN)=NH(S),根据平均码长的界限定理有:

LN为N次扩展信源每个符号的平均码长,原始信源的每符号的平均码长则为

则不等式都除N可以变为:

即得:

当离散无记忆信源S的扩展次数N足够大时,有

定理一表明当将离散无记忆信源进行N次扩展后再进行编码,就可以使原始信源每个符号的平均码长接近信源熵H(S),即达到下限值。

这时就不要求原始信源的先验概率满足特殊条件了,但却要求扩展次数N趋于无穷。因此,这也是一个极限定理,(给出一种似乎不现实的方法)。

实际上这种方法是一种概率均匀化方法。

[定理二]:离散平稳各态历经有记忆信源S的N次扩展信源[S]=S1,S2,…SN,其熵为H([S])= H(S1,S2,…SN),并且编码器的码元符号集为A:{a1,a2,…aq},对信源[S]进行编码,总可以找到一种编码方法,构成单义可译码,使信源S中每个符号所需要的平均码长满足:

已知N次扩展信源的熵为H([S])=H(S1,S2,…,SN),根据平均的界限定理,

将上式除以N得:

可以注意到:对于平稳各态历经有记忆信源来说,当信源稳定后,即当N趋于无穷时,每发一个符号携带的平均信息量等于其极限熵。

又考虑到lim(1/N)=0,可知:

比较定理一和定理二,由于H(S)≤H∞,所以,有记忆信源的平均码长的下界将小于无记忆信源的平均码长的下界;

对于m阶马尔柯夫信源来说;H∞=Hm+1(S),则有:

即,记忆长度越长,平均码长的下界就越小。有:

定理一和定理二说明:可以用信源扩展的方法,达到数据压缩的目的,扩展程度越高,编码效率越高。

[定理三]:设信源S的熵为H(S),无噪声离散信道的信道容量为C。则总可以找到一种编码方法,使信道上的信源符号平均传输速率为[C/H(S)-ε]。其中ε可以是任意小的正数。要使符号平均传输速率大于C/H(S)是不可能的。

[关于编码定理的说明]

⑴在编码前,离散无噪声信道的信道容量为C,Hmax(S)为信源的最大熵,r为符号传输速率。

在编码前,离散无噪声信道的实际熵速率为R。

如果保持相同的符号传输速率,这时的传输效率(编码效率):实际传输能力/最大传输能力,为:

对于n个符号的原始信源,如果不进行编码就相当于n元编码,其最大熵为

传输效率(编码效率)为:

无噪声信道的传输效率就等于编码效率。

⑵编码后,每个原始信源符号si编成了Li个信道码元组成的码字Wi。编码器的输出可以看成一个新的信源,它有q个信源符号(信道码元),每个信道码元所携带的信息量为H(S)/L。如果将这个新信源记为A,则H(A)=H(S)/L,如果信道码元的符号速率为r,则信道的实际熵速率为:

编码器输出的码元符号集共有q个元素,这个新信源的最大熵为当q个信道码元符号为等概率时,即Hmax(A)=logq,信道容量为:

C=rHmax(A)。

这时编码器输出端的传输效率(编码效率)为:

当q=2时,为二元编码,logq=1; 传输效率就为:

⑶这时从另一个角度,我们看一下编码定理中定义的符号传输速率,它是指原始信源符号的传输速率:即每秒传输的原始信源符号的个数。

实际符号传输速率为:为r0=R/H(S) [(比特/秒)/(比特/符号)=(信源符号/秒)],有:

编码定理指出:总可以有方法使R趋进于C,并构成单义可译码,

实际上等效于:L趋于H(S)/logq 。或者说:编码后的编码效率趋于1。

由平均码长界限定理可知,要构成单义可以码,平均码长有一个下界:

结合这两个关系,可以得到:单义可译码的信道码元符号在离散无噪声信道上的熵速率(传信率)就相应有一个上界;

我们知道logq是信道码元符号集A:{a1,a2,…aq}的最大熵,也就是将A看作信源时,在离散无噪声信道上的信道容量C,所以有:

R≤C

这就是说,要编成单义可译码,就不可能使信道传信率(熵速率)大于信道容量。关于Shannon编码第一定理:

定理一、定理二和定理三实际上是同一个定理,定理一和定理二是针对一个具体的信源形式,而定理三是一个概括性的。这个定理称为无失真信源编码定理,也称为无噪声信道编码定理。

[例4-1]:有一个离散无记忆信源,S:{s1,s2}, P(S):{0.2, 0.8},其原始信源熵为:H(S)=1/5log5+4/5log(5/4)=0.72193 bit/信源符号(si)

用二元信道码元符号A:{0,1}进行编码,得到码字W:{W1=0, W2=1},这时的平均码长为: L=0.2×1+0.8×1=1 信道码元符号/信源符号。

这时的信道传信率:

R=H(S)/L=0.72193 比特/信道码元符号。

对这个信源进行二次扩展,得到S2,对其进行二元编码,得W:{W1,W2,W3,W4}。

[Si]

P([Si])

Wi

[S1]=S1S1

1/25

000

[S2]=S1S2

4/25

001

[S3]=S2S1

4/25

01

[S4]=S2S2

16/25

1

这时的平均码长为:

L2=(16/25)×1+(4/25)×2+(4/25)×3+(1/25)×3=37/27 信道码元符号/2个信源符号

则相应的原始信源每个信源符号的平均码长

L=L2/2=37/50 信道码元符号/信源符号

这时的信道传信率为

R=H(S)/L=0.72193/(37/50)=0.97 比特/信道码元符号。

可以看到:经过信源的二次扩展,编码复杂一点,但使传信率(编码效率)明显提高,可知二元编码的信道容量为1比特/码元,当扩展次数增加时,传信率将无限接近信道容量。4.3 Huffman编码

上面我们看到,通过无失真信源编码可以使信道传信率无限接近于信道容量,为了评价信源编码的好坏,定义一个参数称为编码效率:

编码效率是一个小于等于1的参数,当然编码效率越高越好,只要保证是单义可译码。当编码效率等于1时称为最佳码。

在无噪声信道下:无噪声信道的传输效率就等于编码效率。

当q=2时,为二元编码,logq=1; 传输效率就为:

4.3.1 Shannon-Fano算法

⑴Shannon编码思想

由于概率的不均匀,使编码效率下降,因此,可以根据消息状态的概率来确定各码字的编码长度,概率大的编成短码,概率小的编成长码。

最初的Shaanon编码算法是一种简单的按概率编码的方法,对于一个离散无记忆信源,如果其某一状态si的先验概率为p(si),则就取其码长为:

其[X]符号表示为取不小于X的整数,即

其实这种方法是满足Kraft不等式的一种直接的应用;

例如:一个离散信源S:{s1,s2,s3,s4} p(S):{1/2,1/4,1/8,1/8}

这时有:L1=log2=1; L2=log4=2; L3=L4=log8=3;

利用码树图的方法可以得到其编码:如图4-4。

图4-4 利用码树图的编码举例

这个例子可以验证其编码效率为1,即为最佳码。但可以发现,这种方法对于多数情况下是不能实现最佳码的,而且编码效率比较低。

这种算法称为Shannon算法;后来提出了一种改进方法为Shannon-Fano算法。

⑵Fano算法的步骤

①把原始信源的符号按概率从大到小重新排列;

②把信源符号按尽可能概率相等分为q组,分别分配给a1,a2,…aq码元;

③将每个分组再次分组,直至分完;

④从左至右将分得的码元排列即得码字Wi。

[算法举例]:

设有一个离散无记忆信源S;其信源空间为:

S:

s1

s2

s3

s4

s5

s6

s7

s8

p(S):

0.1

0.18

0.4

0.05

0.06

0.1

0.07

0.04

可知这个原始信源的熵为:H(S)=-∑p(si)logp(si)=2.55 bit/原始信源符号。

而这时的最大熵为:Hmax(S)=log8=3 bit/原始信源符号。

编码效率为η=R/C=H(S)/Hmax(S)=2.55/3=85%。

利用Shannon-Fano算法编码:

si

p(si)

第一次

第二次

第三次

第四次

Wi

Li

s3

0.40

0

0

00

2

s2

0.18

0

1

01

2

s1

0.10

1

0

0

100

3

s6

0.10

1

0

1

101

3

s7

0.07

1

1

0

0

1100

4

s5

0.06

1

1

0

1

1101

4

s4

0.05

1

1

1

0

1110

4

s8

0.04

1

1

1

1

1111

4

这时可以用码树图描述:如图4-5。

图4-5 利用码树图的编码举例

注意:1,0码元分配是任意的,因此编码的结果是不唯一的;

⑶关于编码效率

编码前信源熵为H(S),最大熵为Hmax(S),熵速率为R=rH(S),信道容量为C=rHmax(S);这时的编码效率为:

编码后一个信源状态si对应于一个码子Wi,Wi的码长为Li,[W]的平均码长为L,一个码元的熵为H(A)=H(S)/L,其最大熵为Hmax(A)=logq,熵速率和信道容量分别为R=rH(S)/L, C=rHmax(A)。这时的编码效率为:

对于二元编码q=2,Hmax(A)=log2=1,同时考虑到H(S)与H(A)的关系,有

由于L总是大于等于H(S),因此编码效率总是小于1。当L趋于H(S)时,编码效率也趋于1。

编码效率趋于1的过程,就是L趋于H(S),和R趋于C的过程。

看这个例题的编码效率:其平均码长为L=2.64 信道码元/信源符号。H(S)=2.55 bit/信源符号。所以

可见编码效率得到提高。

如果将信源做n次扩展后再进行编码,可以进一步提高编码效率。4.3.2 Shannon-Fano算法的最佳条件

同样是上面的例子,如果我们将原始信源改变一下,信源空间为:

S:

s1

s2

s3

s4

s5

s6

s7

s8

p(S):

1/4

1/4

1/8

1/8

1/16

1/16

1/16

1/16

可知这个原始信源的熵为:H(S)=-∑p(si)logp(si)=2.75 bit/原始信源符号。

而这时的最大熵为:Hmax(S)=log8=3 bit/原始信源符号。

编码效率为η=R/C=H(S)/Hmax(S)=2.75/3=91.7%。利用Shannon-Fano算法编码:

si

p(si)

第一次

第二次

第三次

第四次

Wi

Li

s1

1/4

0

0

00

2

s2

1/4

0

1

01

2

s3

1/8

1

0

0

100

3

s4

1/8

1

0

1

101

3

s5

1/16

1

1

0

0

1100

4

s6

1/16

1

1

0

1

1101

4

s7

1/16

1

1

1

0

1110

4

s8

1/16

1

1

1

1

1111

4

这时的平均码长为L=∑p(si)Li=2.75 信道码元/信源符号。编码效率为:

η=H(S)/L=2.75/2.75=1, 表明R=C。4.3.3 Huffman算法

这种算法比Shannon-Fano算法的效率还要高,称为最佳编码算法。

⑴二元Huffman算法的步骤

①将信源S的n个符号状态{s1,s2,…sn}按概率从大到小排列,作为码树图的叶;

②将概率最小的两个符号分别分配给“0”和“1”码元,然后其概率相加,合成一个节点,作为一个新的符号,重新与其它符号按概率大小排列;

③重复这样的步骤,一直到处理完全部状态;

④从右到左将分配的码元排列后即得相应得编码。

[算法举例]:将上一题的信源编为Huffman编码。

设有一个离散无记忆信源S;其信源空间为:

S:

s1

s2

s3

s4

s5

s6

s7

s8

p(S):

0.1

0.18

0.4

0.05

0.06

0.1

0.07

0.04

可知这个原始信源的熵为:

H(S)=-∑p(si)logp(si)=2.55 bit/原始信源符号。

而这时的最大熵为:Hmax(S)=log8=3 bit/原始信源符号。

编码效率为:

利用Huffman算法编码:

s3 0.4 1

s2 0.18 1

s1 0.1 (0.37) 0 1.0

s6 0.1 0 (0.6) 0

s7 0.07 0 (0.23) 1

s5 0.06 1 (0.13) (0.19) 0

s4 0.05 0 (0.09) 1

s8 0.04 1

编码结果:

W3=1 W7=0100

W2=001 W5=0101

W1=011 W4=00010

W6=0000 W8=00011

平均码长L=2.61 码元/状态。编码效率为

可见Huffman编码比Shannon-Fano编码可以得到更高的编码效率。同样:

1/0码元分配是任意的,因此编码的结果是不唯一的;

⑵q元Huffman算法

首先我们看一个例子;设离散信源的信源空间为:对其进行 q=3,A:{0,1,2}编码。

S:

s1

s2

s3

s4

s5

s6

p(S):

0.24

0.20

0.18

0.16

0.14

0.08

如果按二元Huffman编码的方法

Li

Wi

si

p(si)

S(1)

S(2)

S(3)

0

0.62

1

1.0

0.38

0.38

2

2

10

S1

0.24

0.24

0

2

11

S2

0.20

0.20

1

2

12

S3

0.18

0.18

2

2

20

S4

0.16

0

2

21

S5

0.14

1

2

22

S6

0.08

2

可知:平均码长为L=2 码元/信源符号。

下面我们看一下一种改进方法:

还是这一个信源,我们在6个信源符号的后面再加一个概率为0的符号,记为s7’,同时有p(s7’)=0,这个符号称为虚假符号。将信源按7个符号进行三元编码。

Li

Wi

si

p(si)

S(1)

S(2)

S(3)

0.54

0

2

1

S1

0.24

0.24

0.24

1

1.0

0.22

0.22

2

2

00

S2

0.20

0.20

0

2

01

S3

0.18

0.18

1

2

02

S4

0.16

0.16

2

2

20

S5

0.14

0

2

21

S6

0.08

1

2

22

S7’

0

2

其码树图如图2-6所示。

图2-6 q元Huffman编码的树图

计算可知这种编码方法的平均码长为L=1.76 码元/信源符号。可以看到通过这种增加虚假符号的方法可以提高q元Huffman编码的编码效率。从而得到q元Huffman编码的步骤:

对于离散信源S:{s1,s2,…,sn} P(S):{p(s1),p(s2),……p(sn)} A;{a1,a2,…aq};

①将n个原始信源符号按概率由大到小排列;

②用a1,a2,…aq分别代表概率最小的q个符号,并将这q个符号的概率相加,形成一个新的符号。将这个新符号与原始信源剩下的(n-q)个符号组成一个新的信源,称为第一次缩减信源S(1),这个信源有[(n-q)+1]个符号。

③重复上述步骤,直至将原始信源的全部符号处理完毕,每次将减少(q-1)个符号,分别形成S(2),S(3)…;

④当最后一次缩减信源正好有q个符号时,将结束编码过程,从右到左将分配的信道码元符号排列即得到相应的码字;

⑤如果最后一次缩减信源剩下的符号少于q,这时将不能实现最佳编码,应当重编。这时应当在原始信源中加上m个概率为0的虚假信源符号,然后进行编码,将得到最佳码。其中的m为: m=q-{n-[q-1]k},其中k表示缩减次数S(k)。

上一个例子中,n=6, q=3, k=2, 则,m=3-{6-[3-1]2}=1,要加一个虚假符号。

⑶关于Huffman编码

在编码过程中“0”和“1”的分配是任意的,得到的两种码平均码长是一样的。

如果完成一次的信源缩减后得到的新符号的概率于原始信源符号的概率相等时,最好将其排列在原始信源符号的前面,虽然平均码长仍然相同,但平均码长的方差比较小,对实际应用有好处。4.4信源编码的方法

信源编码的目的是提高编码效率,信源编码的方法基本分为两种:信源状态独立化和概率均匀化。

弱记忆信源的独立化方法就是信源扩展。

强记忆信源的独立化方法是预测编码,这方面有很多实用化方法,已经形成了相对独立的研究分支,例如语音压缩技术,图象压缩编码等。

概率均匀化包括很多实用编码技术,例如Huffman编码。

一些典型的信源编码方法:

一、无失真信源编码(无损信源编码)

Huffman编码;

二元序列的游程编码;

冗余位编码;

算术编码;等。第五章 纠错编码原理

从这一章开始介绍有噪声信道编码的问题,有噪声信道编码的主要目的是提高传输可靠性,增加抗干扰能力,因此也称为纠错编码或抗干扰编码。在这一章里将首先介绍信道编码定理和纠错编码的基本原理。

信源编码之后的码字序列抗干扰能力很脆弱,在信道噪声的影响下容易产生差错,为了提高通信系统的有效性和可靠性,要在信源编码器和信道之间加上一个信道编码器,5.1 译码准则5.1.1 译码准则的含义

⑴一个例子

影响通信系统可靠性的一个重要问题是译码方式,可以通过一个例子看一下;

有一个BSC信道,如图5-1所示。

图5-1 BSC信道模型

对于这样一个信道,如果采用自然的译码准则,即收0判0,收1判1;这时可以明显看到,当信源先验概率的等概时p(0)=p(1)=1/2;这时收到Y判X的后验概率等于信道转移概率,系统正确的译码概率为1/4,错误译码概率为3/4。但如果采用另一种译码准则,收0判1,收1判0;则系统正确的译码概率为3/4,错误译码概率为1/4,通信的可靠性提高了。

⑵译码准则

设一个有噪声离散信道,输入符号集X,输出符号集Y,信道转移概率为P(Y/X);

图5-2 离散信道模型

X:{x1,x2,…..,xn}

Y:{y1,y2,……ym}

P(Y/X):{p(yj/xi); i=1,2,…n; j=1,2,…m

这时定义一个收到yj后判定为xi的单值函数,即: F(yj)=xi (i=1,2,…n; j=1,2,…m);这个函数称为译码函数。它构成一个译码函数组,这些函数的值组成了译码准则。

对于有n个输入,m个输出的信道来说,可以有nm个不同的译码准则。例如上面例子中有4中译码准则分别为:

A:{F(0)=0;F(1)=0} B:{F(0)=0;F(1)=1}

C:{F(0)=1;F(1)=0} D:{F(0)=1;F(1)=1}5.1.2 译码错误概率

当译码准则确定之后,当接收端收到一个yj后,则按译码准则译成F(yj)=xi,这时如果发送的为xi则为正确译码,如果发送的不是xi则为错误译码。所以接收到yj后正确译码的概率就是接收端收到yj后,推测发送端发出xi的后验概率:

Prj=P{F(yj)=xi/yj}

而错误译码的概率为收到yj后,推测发出除了xi之外其它符号的概率:

Pej=P{e/yj}=1-P{F(yj)=xi/yj}

其中e表示除了xi之外的所有其它信源符号的集合。

然后对所有的yj取平均,则平均正确译码概率为:

同样可以得到平均错误译码概率为:

这就是平均错误译码概率的基本表达式,在通信系统设计和分析时,总是希望得到最可能小的平均错误译码概率。因此所有通信系统都将平均译码错误概率作为系统可靠性的一个重要指标。5.1.3 最大后验概率准则

由平均错误译码概率的表达式可以看出,错误译码概率与信道输出端随机变量Y的概率分布p(yj)有关,也与译码准则有关。当信道信道转移概率p(yj/xi)确定后,而且信源统计特性p(xi)确定之后,信道输出端的p(yj)也就确定了。因为:p(xi,yj)=p(xi)p(yj/xi); 而p(yj)可以由p(xi,yj)的(i=1,2, …,n)求和得到。

因此,在这种情况下,平均错误译码概率只与译码准则有关了。通过选择译码准则可以使平均译码概率达到最小值。

当式中的每一项的P{F(yj)=xi/yj}达到最大值时,平均错误译码概率就可以为最小值。

设信源X的信源空间为:

[X,P]:

X:

x1

x2

xn

P(X):

p(x1)

p(x2)

p(xn)

信道的转移矩阵为:

y1

y2

ym

[P]=

x1

p(y1/x1)

p(y2/x1)

p(ym/x1)

x2

p(y1/x2)

p(y2/x2)

p(ym/x2)

xn

p(y1/xn)

p(y2/xn)

p(ym/xn)

收到每一个yj(j=1,2,…m)后,推测发送为xi(i=1,2,…n)的后验概率共有n个,为:

p(x1/yj),p(x2/yj),……p(xn/yj)。

这其中必有一个为最大的,设其为:p(x*/yj),即有:

p(x*/yj)≥p(xi/yj) (对一切的i)

这表明:收到符号yj后就译为输入符号x*,即译码函数选为:

F(yj)=a* (j==1,2,…m)

这种译码准则称为“最大后验概率准则”。

利用这种准则就可以使平均译码错误概率公式中的s项求和的每一项:{1-P[F(yj) = xi/yj]}达到最小值{1-[F(yj)=x*/yj]}。这时的平均错误译码概率的最小值为:

这个表达式平均错误译码概率的最小值,是把每一个yj对应的后验概率排除后再连续求和。

从表达式中可以看到,这个最小值与信源先验概率和信道转移概率有关,特别是信道转移概率,如果除了p(yj/x*)外,其它的项多很小,错误译码概率会减小。5.1.4 最大似然准则

使用最大后验概率译码准则必须已知后验概率,但信道的统计特性描述总是给出信道转移概率,因此利用信道转移概率的译码准则。

由概率中的贝叶斯定理可有:

这样,根据最大后验概率译码准则,如果

p(x*)p(yj/x*)≥p(xi)p(yj/xi) (i=1,2,……n)

就等于:p(x*/yj)≥p(xi/yj)

则选择译码准则:F(yj)=x* (j=1,2,……n)

这样,可以看到当信道输入符号集X的先验概率为等概时[p(xi)=1/n],比较上面三个式子,最大后验概率可以用最大信道转移概率来取代。

这时,在X的先验概率为等概时,如果p(yj/x*)是yj相应的n个信道转移概率

p(yj/x1),p(yj/x2),……,p(yj/xn)

中的最大者,则我们就将yj译成x*,这种译码方法称为“最大似然译码准则”。

最大似然译码准则利用了信道转移概率,而不用后验概率,将会更方便。

这时的最小平均错误译码概率为:

[将信道转移矩阵P中每一列中的最大元素去掉,然后将其它元素相加后除以n]。

为了减小错误译码概率,主要方法是改变信道转移概率,5.2 信道编码基本概念5.2.1 信道编码定理

[定理]:有噪声信道编码定理(Shannon第二编码定理)

如一个离散有噪声信道有n个输入符号,m个输出符号,信道容量为C。当信道的熵速率R≤C时,只要码长足够长,总可以找到一种编码方法及译码准则,使信道输出端的平均错误译码概率达到任意小,[pe=ε]。当R>C时,则不可能找到一种编码方法及译码准则,使信道输出端的平均错误译码概率达到任意小。

编码定理的证明比较复杂,用超球空间几何方法。

这个定理是一个存在定理,指出错误率趋于0的编码方法是存在的。

定理表明,在错误率趋于0的同时,还可以使R趋于C,这是具有理论指导意义的。

这个定理的证明思想为:以二元编码为例:5.2.2 信道编码的基本概念(分组码)

⑴码字空间

如果原始信源空间有M个码字,对其进行q元等长码的信道编码,码长为N,信道码字空间的所有码字为qN个,编码器将在这qN个可用码字中选择M个码字分别代表原始信源中的M个码字,信道编码码字空间的这M个码字称为“许用码字”,而另外的qN-M个码字称为“禁用码字”。为了实现纠错编码,一定有qN>M。这M个许用码字也称为一个码组,或称为码字集合。

⑵汉明距离:(Hamming distance)

在一个码组(码字集合)中,任意两个等长码字之间,如果有d个相对应的码元不同,则称d为这两个码字的汉明距离。

例如:α和β为码组X中的两个不同码字,X为一个长度为N的二元码组,其中:

α=[a1,a2,……aN] ai∈{0,1}

β=[b1,b2,……bN] bi∈{0,1}

则α与β的汉明距离为:

d=0表明为全同码,d=N表明为全异码,如果用模2加法的概念,有

⑶最小码距:

在一个码字集合中,任何两个码字之间的汉明距离组成一个元素集合,D(α,β),这个集合中的最小值称为这个码字集合的最小汉明距离,简称最小码距,记为:dmin。

dmin=min{d(α,β) α,β∈X α≠β}

例如:

⑷码字重量(汉明重量)(Hamming weight)

在二元编码的码字集合中,码字中“1”码元的个数称为这个码字的重量。记为:

W(α)。利用码字重量的概念,汉明距离可以表示为:

d(α,β)=W(α⊕β)

⑸分组码最小码距与纠检错能力的关系:

一个分组码的最小码距为dmin,则其纠检错能力为:

若发现e个错误,则要求dmin≥e+1;

若纠正t个错误,则要求dmin≥2t+1;

若纠正t个错误,同时发现e个错误,则要求dmin≥t+e+1; t例如:

dmin=1; 无纠检错能力;

dmin=2; 检一位错

dmin=3; 纠一位错(或检两位错)

dmin=4; 纠一位,同时检两位;

dmin=5; 纠二位错(或检4位错)

dmin=6; 纠二位,同时检3位;(t=2,e=3)

dmin=7; 纠三位错(或检两位错)

dmin=8; 纠三位,同时检4位;(t=3,e=4

图5-3 最小码字距离与纠错能力的关系5.2.3 信道编码方法

纠错编码:根据一定的纠检错要求,对原始码字进行某种变换,使其具有具有纠检错能力,这种变换称为抗干扰编码。

实现方法:信息位+监督位=纠检错编码。

信道编码的分类:

纠错码/检错码

前向纠错方式(FEC-forward error correction)

反馈重传方式(ARQ-automatic repeat request)

混合纠错方式(HEC-hybrid error correction)

在FEC中又可分为:

分组码(block code/group code)

卷积码(convolutional code)

在分组码中常见的码包括:

Hamming Code

Cyclic Code

BCH Code

Golay Code

Reed-Solommon Code

Reed-Muller Code5.3 简单的信道编码

检错码一般具有较少的监督位,冗余度较小,只能检出错误,但不能纠正错误。5.3.1 奇偶校验码(Parity Check Code)

也称为一致监督检错码,是一种检错分组码。

⑴检错原理:

当信息码字位二元序列,码字长度位k,共有2k个码字,可以在信息码字后面加上一位监督元,构成长度位n=k+1的检错码,X=[x1,x2,……,xk,xk+1]=[ x1,x2,……,xn]

对于偶校验码:监督元为

对于奇校验码,监督元为:

偶校验码中有偶数个1,奇校验码中有奇数个1;

奇偶校验码的最小码距为dmin=2;可检一位错;

可用码字=2n;许用码字=2k,禁用码字=2n-2k

⑵漏检概率

检错码不能发现错误码字的概率称为漏检概率。

奇偶校验码不能发现偶数个码元错误,根据最小码距分析至少检一位错,实际上可以检出所有奇数个错。

假设信道误码率为pe,码字漏检概率为Pu,有:

n为偶数;

n为奇数;

其中n为码字长度,有:

当信道误码率很小时,pe<<1; Pu=Cn2pe2。

漏检概率不仅与信道误码率有关,而且还与码字长度有关,实际上它是一个误字率的概念,应当配合ARQ系统使用,可以看到系统可靠性是很高的。

⑶编码效率:

实际上可知:编码效率与信道传输效率是同一个概念:

认为信源符号为等概率条件。

根据奇偶校验码的原理,还有一些改进方法:水平奇偶校验码,垂直奇偶校验码,群计数码等,5-3-2 定比码(等重码,范德伦码)

⑴五三定比码与七三定比码

定比码为一种简单检错码。

五三定比码(五单位码)用于国内电报系统,码长为5,其中1的个数为3。这种码的许用码字为:

代表国内电报系统中的数字0~9。

七三定比码(七单位码)用于国际电报系统,码长为7,其中1的个数为3。这种码的许用码字为:

代表26个英文字母和一些符号。

⑵漏检概率:

五三定比码和七三定比码的dmin=2,至少可以检一位错,实际上定比码可以检出所有奇数位错码,及一些偶数位错码。

定比码的漏检为:偶数位错误,且一半1错为0,一半0错为1;

Pu=P2+P4+…

P2=P10.P01=C31pe(1-pe)3-1.C21pe(1-pe)2-1

P4=C22C32pe4(1-pe)5-4

⑶编码效率:

5.3.3 重复码

检错码只能发现错误,必须利用ARQ系统才能实现抗干扰,它要求有反向信道,而前向纠错码的最大优点就是不需要反向信道,并且实时性高。重复码是一种最简单的纠错码。在实际系统重有较广泛的应用。

⑴一个例子:

一个BSC信道,输入为X={0,1},且为等概分布,信道模型如图5-4。

图5-4 BSC信道模型

按最大似然译码准则为:F(0)=0; F(1)=1;

在信道误码率为pe=10-2条件下,其错误译码概率为:

Pemin=(1/n)(pe+pe)=(1/2)(0.01+0.01)=10-2

可以看到这时系统误码率就等于信道误码率,这里没有采用任何信道编码。

⑵编译码方法

重复码的编码方法为,将0编为000,1编为111。

这时的可用码字为23=8;分别为:

X1=000 X2=001 X3=010 X4=100

X5=011 X6=110 X7=101 X8=111

而许用码字为000和111,

相当于信道输入为X1=000,X2=111,而信道输出端为:

Y1=000;Y2=001;Y3=010;Y4=100

Y5=011;Y6=110;Y7=101;Y8=111

这时的信道转移矩阵为:

[P]=

Y1

Y2

Y3

Y4

Y5

Y6

Y7

Y8

X1

p13

p12p

p12p

p12p

p1p2

p1p2

p1p2

p3

X2

p3

p1p2

p1p2

p1p2

p12p

p12p

p12p

p13

这时如果按最大似然法则译码,将为:

F(Y1)=F(Y2)=F(Y3)=F(Y4)=X1=000

F(Y5)=F(Y6)=F(Y7)=F(Y8)=X2=111

错误译码概率为:

Pemin=(1/2){ p3+ p2p1+ p2p1+ p2p1+ p2p1+ p2p1+ p2p1+ p3}= 3p2p1+ p3

≈3×10-4

可见简单重复码可以将错误译码概率下降两个数量级。

这是三次重传大数判别的方法;可以看出如果是五次重复码,误码率还要降低。

[注]:从这里的译码方法可以看到:最大似然译码准则实际上是一种最小汉明距离的译码准则。为了判别比较,一般重复码都采用奇数次重复,然后按大数判决。

⑶编码效率

三次重复码的编码效率为:相当于k=1,n=3 ; η=k/n=1/3;

同样可知:五次重复码η=k/n=1/5;5.4 代数引论

为了进一步学习纠错编码的原理和分析其性能,在这一节中我们复习一些有关的代数知识。5.4.1 群(Group)

[群的定义]:如果一个元素集合G,在其中定义一种运算“*”,并满足下列条件则称为一个群(Group)。a,b,c,e,a-1∈G。

自闭性,c=a*b

结合律,a*(b*c)=(a*b)*c

单位元(恒元),a*e=e*a=a

逆元 a*a-1=a-1*a=e

如果还满足交换律,a*b=b*a, 则称为交换群。

[定理1]:群G中的单位元是唯一的。

[定理2]:群G中任一元素的逆元是唯一的。

[有限群]:群中元素的个数称为元素的阶,有限元素的群称为有限群。(m阶有限群)

[模运算]:

G={0,1}为一个模2加法群,

0+0=0,0+1=1,1+0=1,1+1=0 0是单位元,本身是逆元,满足结合律,交换律和自闭性,为一个加法交换群。

当p为一个素数,则集合G={1,2,…p-1}在模p乘法下为一个群。

例如p=5,G={1,2,3,4}为一个乘法群,

*

1

2

3

4

1

1

2

3

4

2

2

4

1

3

3

3

1

4

2

4

4

3

2

1

全体实数集合为一个普通加法的交换群;

全体非零实数集合为一个普通乘法的交换群;

[子群]:如果集合G在某种运算*下为一个群,集合H为G中的一个非空子集。若H在运算*下也满足自闭性,结合律,单位元和逆元,则称H为G的一个子群。

偶数集合H:{2n}为整数加法群的一个子群。

[定理]:如果集合G在运算*下为一个群,H为一个子群,则G中的所有元素都可以由子群H中的元素表示。

[单位元]:如果H为G的一个子群,则G中唯一的单位元一定在H中。

[分元陪集]:利用子群和陪集,可以用子群H的元素表示所有G中的元素。

例:设G是整数集合,在普通加法+下为一个交换群,而H为G的一个子群,它由整数m的倍数构成,那么,所有正整数均可用H中的元素表示,且划分为子群H的若干个陪集。H:{nm}; n=0,±1,±2,…。

例如m=3,则子群H的元素为: H:{0, ±3, ±6, ±9, ±12, ±15, ±18,…}

利用分元陪集的方法,用H的元素表示G中的所有元素。

将子群H中的元素放在表的第一行,且单位元0放在首位,称为陪集首。

将H中没有的,但G中的元素1作为陪集首,放在表的第二行的首位,将陪集首分别与第一行的元素做加法运算,组成的二个陪集。

将第一行,第二行中没有的,但在群中有的元素2作为第二个陪集的陪集首,构成第三个陪集。

这样,利用分元陪集的方法,可以构成所有G中的元素。

陪集1

0

3

-3

6

-6

9

-9

陪集2

1+0=1

1+3=4

-2

7

-5

10

-8

陪集3

2+0=2

2+3=5

-1

8

-4

11

-7

…5.4.2 域(Field)

[域的定义]:如果一个元素集合F,在其中定义加法和乘法两种运算,并满足下列条件则称为一个域(Feild)。a,b,c,d,e,a-1∈G。

在加法下为一个交换群,满足自闭性,交换律,结合律,单位元为0,逆元。

在乘法下为一个交换群,满足非零元素自闭性,交换律,结合律,单位元,逆元。

在加法乘法下满足分配律,

[有限域]:域中的元素个数m称为域的阶,有限个元素的域称为有限域或叫作伽罗华域,记为GF(m),GF-Galois Field,

[最小域]:一个域中最少包含加法单位元和乘法单位元两个元素,否则不能构成域。

例如:集合{0,1}在模二加法和乘法下构成一个二元有限域GF(2)。

[素域]:如果p为一个素数,则正整数集合{0,1,2,…p-1},在模p加法和乘法下为一个阶数为p的域,称为素域,记为GF(p)。GF(2)为一个素域。

例如:GF(7)为一个素域,其运算如下:

模7加法

模7乘法

+

0

1

2

3

4

5

6

.

0

1

2

3

4

5

6

0

0

1

2

3

4

5

6

0

0

0

0

0

0

0

0

1

1

2

3

4

5

6

0

1

0

1

2

3

4

5

6

2

2

3

4

5

6

0

1

2

0

2

4

6

1

3

5

3

3

4

5

6

0

1

2

3

0

3

6

2

5

1

4

4

4

5

6

0

1

2

3

4

0

4

1

5

2

6

3

5

5

6

0

1

2

3

4

5

0

5

3

1

6

4

2

6

6

0

1

2

3

4

5

6

0

6

5

4

3

2

1

[扩展域]:对于任何一个正整数m,可以将素域GF(p)扩展成有pm个元素的域,称为域GF(p)的扩展域,记为:GF(pm)。而且可以证明:任何有限域都是一个素域的扩展域。

[有限域的特征]:由于有限域GF(q)在加法下是自闭的,因此,考虑其乘法单位元1的加法运算,1,1+1,1+1+1,……, 1+1+1+1+1+….+1(k个),这些都是GF(q)中的元素,而域中的元素是有限个,因此必然存在两个正整数m,n, m

或者说:必然存在一个最小的正整数λ=n-m,我们称λ为域GF(q)的特征。

二元域GF(2)的特征λ=2;

素域GF(p)的特征λ=p;

有限域的特征是一个素数;

[循环群]:如果一个群存在一个元素,其各次幂构成整个群,称为循环群。

[定理]:有限域GF(q)的非零元素构成一个循环群。

设a是GF(q)中的一个非零元素,由于GF(q)的非零元素在乘法下为自闭的,所以a,a2,a3,…也必然是GF(q)中的非零元素,又因为GF(q)为有限元素,所以必然有一个最小的正整数n,使an=1。这个正整数n称为元素a的阶。

令a为有限域GF(q)的非零元素,则aq-1=1。

令a为有限域GF(q)的非零元素,且n为a的阶,则q-1一定能被n除尽。

[本原元]:如果有限域GF(q)中,非零元素a的阶n=q-1,就称a为GF(q)的本原元素。

本原元素的各次幂构成有限域FG(q)的所有元素。

每个有限域都有其本原元素。

例如:有限域GF(7),域中元素为{0,1,2,3,4,5,6},其非零元素集合为{1,2,3,4,5,6},考虑其中的非零元素a=3,可知:31=3,32=3·3=2,33=32·3=6,34=33·3=4,35=5,36=1 ,可以看到3的各次幂构成了GF(7)中所有非零元素,所以3的阶n=q-1=6,3为GF(7)的本原元。

如果取a=4,可知:41=4,42=2,43=1,即元素4的阶为n=3,并且3可以除尽q-1=6。5.4.3 域上多项式

在编码理论上大多采用二元有限域GF(2)的多项式,因此我们重点介绍这部分的知识。

[域上多项式]:如果多项式f(x)=f0+f1x+f2x2+…+fnxn的系数取自二元有限域GF(2),则称f(x)为域FG(2)上的多项式。fi=0或fi=1;

[域上多项式计算]:

加法:如果f(x)=f0+f1x+f2x2+…+fnxn; g(x)=g0+g1x+g2x2+…+gnxn 则:

f(x)+g(x)= (f0+ g0)+(f1 +g1)x +(f2 +g2)x2+…+(fn+gn)xn

乘法:如果f(x)=f0+f1x+f2x2+…+fnxn; g(x)=g0+g1x+g2x2+…+gmxm 则:

f(x)g(x)=c(x)=c0+c1x+c2x2+…+cn+mxn+m;

c0=f0g0

c1=f0g1+f1g0

……

cn+m=fngm

除法:如果f(x)=1+x+x4+x5+x6; g(x)=1+x+x3;

则f(x)/g(x)的结果可以写作:

其中:q(x)=x3+x2; r(x)=x2+x+1;利用展转相除法(欧几里得除法)

x3+x2

x3+x+1

x6+x5+x4 +x+1

x6 +x4+x3

x5+ x3 +x+1

x5 +x3+x2

x2+x+1

如果r(x)=0,即f(x)能被g(x)除尽,则称g(x)为f(x)的因式;f(x)为g(x)的倍式。

[多项式的模运算]:如果GF(2)上多项式,F(x),N(x),Q(x),R(x)满足:

则称在模N(x)条件下,F(x)=R(x)。

[不可约多项式]:如果f(x)为GF(2)上的m次多项式,它不能被任何次数小于m,大于0的多项式除尽,则称其为GF(2)上的不可约多项式,既约多项式。

f(x)=x3+x+1; f(x)=x4+x+1;均为不可约多项式。

GF(2)上的多项式若有偶数项,则一定可被x+1除尽。

对于任意m≥1,都存在m次不可约多项式。

GF(2)上的任意m次不可约多项式,一定能除尽xn+1,其中n=2m-1。

例如:x3+x+1,可以除尽x7+1。

[本原多项式]:如果n=2m-1,f(x)为GF(2)上的m次不可约多项式,且f(x)可除尽xn+1,则称f(x)为本原多项式。

不可约多项式不一定是本原多项式,本原多项式一定为不可约的。

m次本原多项式是不唯一的。

[性质]:对于GF(2)上的多项式f(x),有[f(x)]2=f(x2)。5.4.4 GF(2)上的矢量空间

[域上矢量空间]:令[V]是一个矢量集合,在其上定义一个加法运算。令F是一个域,在域中的元素和[V]中的元素之间定义了一个乘法运算。如果集合[V]满足下例条件,称其为域F上的矢量空间(线性空间)。

[V]是加法可交换群;

F中的任意元素a和[V]中的元素Vi的乘积,aVi是[V]中的元素;

满足分配律:a,b∈F; Vi,Vj∈[V]; a?(Vi+Vj)=a?Vi+a?Vj; (a+b) ?Vi=a?Vi+b?Vi;

满足结合律:(a?b) ?Vi=a?(b?Vi);

F中的单位元为1,1?Vi=Vi。[V]中的单位元为[0]矢量。

[域上矢量空间的性质]:

0为F上的零元,则0?Vi=[0];

c为F上的任意标量,则c?[0]=0;

c为F上的任意标量和[V]中的任意矢量Vi,?Vi=c?(-Vi)=-(c?Vi);

[GF(2)上的矢量空间]:一个有n个分量的序列;

(a0,a1,…an-1)

其中每个分量是二元域上的元素(ai=0,1),这个序列称为GF(2)上的n-重。

GF(2)上共有2n个n-重。令[Vn]表示这2n个n-重的集合,则可以证明[Vn]是GF(2)上的一个矢量空间。

例如:n=5, GF(2)上的5-重矢量空间[V5]由32个矢量组成。

(00000),(00001),…(11111)。

这个空间中任意两个矢量之和仍然是这个空间中的矢量。

GF(2)中的元素0,1乘上空间中的任意矢量仍然是这个空间中的矢量。

[V的子空间]:

如果[V]是F上的矢量空间,[V]的一个子集也是F上的一个矢量空间,则称[S]为[V]的一个子空间。

例如:[V5]上的子集,{(00000),(00111),(11010),(11101)}为一个子空间。

[线性组合]:令V1,V2,…Vk是F上矢量空间[V]中的k个矢量。令a1,a2…ak是F中的k个标量。则: a1V1+a2V2+…+akVk称为的线性组合。

如果:除非a1=a2=…=ak=0,否则

a1V1+a2V2+…+akVk≠0;则称V1,V2,…Vk是线性独立的。

如果:a1,a2…ak是不都为0,而可以使a1V1+a2V2+…+akVk=0;

则称V1,V2,…Vk是线性相关的。

[定理]:子空间的构成

如V1,V2,…Vk是F上矢量空间V中的k个矢量,则V1,V2,…Vk的所有线性组合构成[V]的一个子空间。

[矢量空间的基底与维数]:

如果一个矢量空间或子空间中的所有矢量,都是由其中的一组矢量V1,V2,…Vk的线性组合得到,则称这组矢量张成这个矢量空间或子空间。

如果这组矢量是线性无关的,则称这组矢量是这个矢量空间的基底。

基底中矢量的个数称为矢量空间的维数。

例如:GF(2)上的[V3]的所有8个矢量都可以由(001),(010),(100)这三个矢量的线性组合构成,而且它们是线性无关的,因此它们是[V3]的基底。[V3]是GF(2)上的三维矢量空间。

可以看出:对于GF(2)上的所有n-重组成的矢量空间[Vn],其基底为{(100…0), (010…0), … (000…1)}。这类基底称为自然基底。

一个矢量空间的基底可以有多个,但基底中矢量的个数,即矢量空间的维数是一定的。

[内积与矢量正交]:

如果两个矢量V=(v1,v2,…vn),U=(u1,u2,…un)的内积(点积)

V?U=( v1 u1+v2 u2+…+vn un)=0,则称这两个矢量正交。

[零化空间]:

如果[S1]和[S2]为矢量空间[V]中的两个子空间,且[S1]中的每个矢量都与[S2]中的每个矢量正交。则称[S1],[S2]互为零化空间(对偶空间),或称这两个子空间互为正交。

[零化空间维数定理];

[Vn]为GF(2)上的n维矢量空间,[S1],[S2]为[Vn]中两个相互正交的子空间,如果[S1]是k维子空间,则[S2]必是一个n-k维子空间。

例如;[V5]中,V1=(10110), V2=(01001), V3=(11111)为线性相关的;因为:

1?V1+1?V2+1?V3=(00000).

而V1=(10110), V2=(01001), V3=(11011)为线性独立的;其线性组合为:

0?V1+0?V2+0?V3=(00000).

0?V1+0?V2+1?V3=(11011).

0?V1+1?V2+0?V3=(01001).

0?V1+1?V2+1?V3=(10010).

1?V1+0?V2+0?V3=(10110).

1?V1+0?V2+1?V3=(01101).

1?V1+1?V2+0?V3=(11111).

1?V1+1?V2+1?V3=(00100).

这8个矢量构成一个[V5]的3维子空间[S3]={V1,V2,V3},(由三个相互独立的矢量张成的子空间)。

与这8个矢量都正交的矢量由下面4个矢量组成

(00000), (10101), (01110), (11011),而它们是由V1=(10101), V2=(01110)张成的。这4个矢量构成一个[V5]的2维子空间[S2]={V1,V2 },

可见满足零化空间维数关系的定理。

第三章 连续信源熵与信道容量

55

3.1连续信源的熵

55

3.1.1 连续信源熵的定义

55

3.1.2 几种连续信源的熵

57

3.2 连续信源的最大熵

58

3.2.1 连续信源的最大熵

58

3.2.2 连续信源的熵功率

61

3.2.3 连续信源的共熵和条件熵

62

3.3 连续有噪声信道的信道容量

62

3.3.1 连续信道的平均交互信息量

62

3.3.2 连续信道的熵速率与信道容量

63

3-3-3 Shannon公式的参数互换

65

3.4 关于连续信源熵和山农公式

66

[1]连续信源的剩余度

66

[2]关于信道噪声

66

[3]高斯噪声信道

66

[4]白噪声信道

67

[5]高斯白噪声信道

67

[6]有色噪声信道

67

[7]乘性信道和加性信道

67

[8]山农公式

67

[9]山农公式推导

68

第四章 信源编码

70

4.1 离散信源的信源编码

70

4.1.1 编码器(Encoder)

70

4.1.2 单义可译码(Uniquely decodable code)

70

4.1.3 平均码字长度

73

H(S)≤L73

4.2 编码定理

75

关于Shannon编码第一定理:

78

L=L2/2=37/50 信道码元符号/信源符号

79

4.3 Huffman编码

79

4.3.1 Shannon-Fano算法

79

编码效率趋于1的过程,就是L趋于H(S),和R趋于C的过程。

81

4.3.2 Shannon-Fano算法的最佳条件

82

4.3.3 Huffman算法

82

4.4信源编码的方法

85

第五章 纠错编码原理

86

5.1 译码准则

86

5.1.1 译码准则的含义

86

5.1.2 译码错误概率

87

5.1.3 最大后验概率准则

87

5.1.4 最大似然准则

88

5.2 信道编码基本概念

89

5.2.1 信道编码定理

89

5.2.2 信道编码的基本概念(分组码)

89

5.2.3 信道编码方法

91

5.3 简单的信道编码

92

5.3.1 奇偶校验码(Parity Check Code)

92

5-3-2 定比码(等重码,范德伦码)

93

5.3.3 重复码

93

5.4 代数引论

95

5.4.1 群(Group)

95

5.4.2 域(Field)

96

5.4.3 域上多项式

98

5.4.4 GF(2)上的矢量空间

99

信息论讲义第3-5章.doc

信息论讲义第3-5章 - 一本不错的信息论与编码的教科书。适合通信、电子等专业的学生。... 信息论讲义第3-5章_信息与通信_工程科技_专业资料。一本不错的信息......[本文更多相关]

信息论第5章.doc

信息论第5章 - 信息论与编码讲义,萧宝瑾主编,通信专业的基础学科... 信息论第5章_工学_高等教育_教育专区。信息论与编码讲义,萧宝瑾主编,通信专业的基础学科 ......[本文更多相关]

信息论讲义第6章.doc

信息论讲义-第四章 58页 5财富值 信息论讲义(4讲) 75页 免费 信息论讲义(1讲) 101页 免费 信息论讲义_第二讲 69页 5财富值 信息论讲义(3讲) 108页 ......[本文更多相关]

信息论第三章答案.doc

信息论第三章答案 - 信息论第三章答案 【篇一:《信息论与编码》习题解答-第三章】 txt>?2/31/3? 3.1 设二元对称信道的传递矩阵为? ? ?1/32/3? (1)......[本文更多相关]

黎诣远《微观经济学》(第3版)笔记(5.2第15章 信息论).doc

黎诣远《微观经济学》(第3版)笔记(5.2第15章 信息论)_经济学_高等教育_...985/211 历年真题解析,答案,核心考点讲义,你想要的都在这→ 经济学历年考研......[本文更多相关]

信息论与编码理论-第3章信道容量-习题解答-071102.doc

信息论与编码理论-第3章信道容量-习题解答-071102_工学_高等教育_教育专区。...{0.5,0.5} 注意单位 1 信道容量 第 3 章 信道容量 3-2 求下列三个......[本文更多相关]

信息论第四讲.doc

信息论与编码第四讲 暂无评价 63页 5下载券 信息论讲义_第四讲 暂无评价 ...[本文更多相关]

信息论第三章答案(南邮研究生作业).doc

信息论第三章答案(南邮研究生作业) - 3.3 3.4 设二元对称信道的传递矩阵...[本文更多相关]

信息论与编码第5章.doc

信息论与编码第5章 - 09 电子 2 40 罗丽花 信息论与编码第 5 章 5-2 发送端有 3 种等概符号(x1,x2,x3) 种等概符号( ,p ),(x)=1/3,接收端收......[本文更多相关]

信息论第三版课后答案.doc

信息论第三版课后答案 - 信息论第三版课后答案 【篇一:西电邓家先版信息论与编码第 3 章课后习题解 答】 6 x1 1/6 y1 3/4 1/4 x2 图 3.1 二元信道......[本文更多相关]

信息论 - 副本 3.doc

信息论 - 副本 3_信息与通信_工程科技_专业资料。...HR 得 S ? ?101?,由 该码字在第5位发生错误,...信息论与编码第6章(2)ne... 57页 3下载券 ......[本文更多相关]

第三版信息论答案.doc

第三版信息论答案_理学_高等教育_教育专区。第三版...第二章课后习题【2.1】...[本文更多相关]

信息论第三次作业.doc

信息论第三次作业 - 第三次作业 1. 在 matlab 下实现二进制霍夫曼编码...[本文更多相关]

信息论作业原题chapter2、3.doc

信息论作业原题chapter2、3 - 第二、 第二、三章 习题 4.1 同时掷两个正常的骰子,也就是各面呈现的概率是 1 ,求: 6 “3 (1) 和 5 同时出现”这一......[本文更多相关]

第3讲 信源模型重点讲义资料.doc

最常用的是 3-单词模型。 5. 构造英语的马尔科夫模型 在研究实际信源时,可...例 6.1(傅祖芸,赵建中《信息论与编码》第 54 页例 2.11)设 X 是二元二......[本文更多相关]

西安电子科技大学信息论与编码理论讲义.doc

西安电子科技大学信息论与编码理论讲义 - 《信讲 息义 论》 204 教研室 2005 年 11 月 主要内容: 第一章 绪论 第二章 离散信源及其信息测度 第三章 离散......[本文更多相关]

信息论习题答案第二章---陈前斌版.doc

信息论习题答案第二章---陈前斌版 - 第 2 章习题 2-3 同时掷两个正常的骰子,也就是各面呈现的概率都是 l/6,求: (1) “3 和 5 同时出现”事件的自......[本文更多相关]

信息论第二章答案.doc

信息论第二章答案 - 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少...[本文更多相关]

信息论与编码理论-第3章信道容量-习题解答-071102.doc

信息论与编码理论-第3章信道容量-习题解答-071102_工学_高等教育_教育专区。...( Si ) 加概率 0 码长 1 2 3 4 5 6 7 7 码字 0 10 110 1110 ......[本文更多相关]

信息论第4章.doc

信息论第4章 - 信息论与编码讲义,萧宝瑾主编,通信专业的基础学科... 信息论与编码讲义,萧宝瑾主编,通信专业的基础...”——孙子算经(公元 3~5 世纪) 后来程大......[本文更多相关]

[信息论讲义第3-5章]相关文章:

  • 信息论讲义-第五章(13讲)
  • 信息论讲义-第五章(13讲)
  • 哈工大信息论讲义第3-5章2004
  • 哈工大信息论讲义第3-5章2004
  • 信息论讲义-第五章
  • 信息论讲义-第五章
  • 信息论讲义第3章
  • 信息论讲义第3章
  • 信息论第五章3
  • 信息论第五章3
  • 信息论讲义-第三章3
  • 信息论讲义-第三章3
  • 信息论讲义-第五章(14讲)
  • 信息论讲义-第五章(14讲)
  • 信息论讲义-第五章(12讲)
  • 信息论讲义-第五章(12讲)
  • 信息论与编码 第5章(3)
  • 信息论与编码 第5章(3)
  • 信息论与编码第5章-3
  • 信息论与编码第5章-3
  • 信息论讲义第3-5章相关搜索
    最新推荐
    热门推荐