《信息论基础a》(清华)复习资料

第二章离散信源及离散嫡 第二章离散信源及离散嫡 信息论基础A复习资料 作者郝仁 第一章概论 在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息， 把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用 信息。目前，信息论中主要研究语法信息 归纳起来，香农信息论的研究内容包括 1 信息炳、信道容量和信息率失真函数 2 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3 信源编码、信道编码理论与方法 一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括 维纳的微弱信号检测理论包括噪声理论、信号滤波与预测、统计检测与估计理 论、调制理论等。 信息科学以信息为研究对象，信息科学以信息运动规律为研究内容，信 息运动包括获取、传递、存储、处理和施用等环节。 单符号离散信源的数学模型 X PX 也 x2 - Xn PMPq,- Px“, 自信息量Zx,. -logvPx,.,是无量纲的，一般根据对数的底来定义单位 当对数底为2时，自信息量的单位为比特bit,binary unit；对数底为e时，其单 位为奈特nat,nature unit；对数底为10时，其单位为哈特Hart, Hartley 自信息量性质IXi是随机量；IXi是非负值；IXi是PXi的单调递减函数。 单符号离散信源的离散炳 HX E[Z.r,.] -2PXilbPXj,单位是比特/符号bit/symbol。 离散炳的性质和定理HX的非负性；HX的上凸性; 最大离散炳定理HXlbn 如果除概率分布相同外，直到N维的各维联合概率分布也都与时间起点 无关，即 PXQ PX, pxAl・X5t px「.. X/N1 则称该多符号离散信源为N维离散平稳信源。 N维离散平稳信源的数学模型 ■ E-Xn - Q]. PX|X2-Xn 皿- P 其中 - 1，‘2， ,iN e 1,2,- ,〃} P0 Px, x,2 Pg Px,2 /.r. /. /x.x/2 二维离散平稳信源的离散嫡 HX]X2 Z PlbP HX1 丑乂2 / Xi il HX2/X1 称为条件嫡，是条件信息量在联合概率上的数学期望，HX1X2称 为联合炳，离散炳HX1、H02称为无条件炳，H2XiX2称为平均符号炳 r1 且HXJX}HX2, HXxX -H{XxX HX 对于，HNXlX2---XN HXlX2---XNHXl,当 N一8时，平均 符号炳取极限值，称之为极限撤 用Hg表示H lim-HXlX.---XN Ntoo N 如果离散平稳信源发出的符号序列中各符号相互独立，则称该信源为离 散平稳无记忆信源。N维离散平稳无记忆信源一维离散平稳信源的N次扩展信 源的数学模型 一 x - ax a2 - , P0N PaJ 1E . Pg 其中，ai ,妃项，e {1，2，,〃}， P0 px. ，.％ *. 其离散炳HX、 HXJ HXD HXn NHXJ 信源的平均符号嫡HnXn HXn HXJ 如果离散平稳信源发出的符号只与前面已经发出的mN个符号相关， 则称该信源为m阶马尔科夫信源。可将m阶马尔科夫信源发出的符号序列看成 长度为m1的一段段符号序列，m阶马尔科夫信源的数学模型 -xml/xlx2-xm r , an,t,i p（xmi/xlx2-xm）_ P（） - P（） 其中，a,x,Jxw P（a） P（x畚/ 砰气” 为强调m阶马尔科夫信源的长度特征，一般将其极限炳H-记为Hmi，艮 H“ H,“i -，乌，与伽与化 il jl 马尔科夫链的各态历经定理 nmnm Pj Z PePej / 乌，j l,2，,n\ 其中 pq 〉0, Pe 1 ilJ1 第三章离散信源无失真编码 码字的每一个比特携带信息的效率即编码效率〃丝2,反平均码长 K 一般采用不等长编码，使平均码长接近离散炳，从而在无失真前提下提高编 码效率；编码的基本原则是大概率符号元编成短码，小概率符号元编成长码 如果所采用的不等长编码使接收端能从码序列中唯一地分割出对应与每一 个符号元的码字，则称该不等长编码为单义可译码。 单义可译码中，如果能在对应与每一个符号元的码字结束时立即译出的称为 即时码，如果要等到对应与下一个符号元的码字才能译出的称为延时码。 异前置码任何一个码字都不是其他码字的前缀 m元长度为k1 il,2, ...,n的异前置码存在的充分必要条件是 文〃1* 1,克拉夫特Kraft不等式 il 无失真编码定理香农第一定理 如果L维离散平稳信源的平均符号炳为HlXiX2...Xl, 对信源符号进行m元不等长组编码，一定存在一种无失真编码方法，当L足够 大时，使得每个信源符号所对应码字的平均比特数 LlbmHL{XxX2---XJ s, e为任意给定的小数 只要点,HLXlX2---XLlbmHLXlX2---XL s LL 无失真编码定理从理论上阐明了编码效率〃T1 L00 时，77 1 ,,K „ lim Ibm l* L 则极限嫡H-是一个界限，通常也称为香农界 对于L维离散平稳无记忆信源，由于其平均符号炳HlXiX2...Xl HX, 故对信源符号进行m元不等长组编码，一定存在一种无失真编码方法，当L足 够大时，使得每个信源符号所对应码字的平均比特数 K HXVlbm〈HX ,此时香农界为 HX。 L 对离散平稳信源进行无失真编码，每个信源符号所对应码字的平均比特数平 稳无记忆信源最多，m阶马尔科夫信源次之，一般平稳信源最少。 二进制香农码的编码步骤如下 1 将符号元为按概率进行降序排列 2 令pxoO,计算第j-1个码字的累加概率Pe pXi, J i0 3 确定第i个码字的码长蛆，满足下列不等式-lbpxj V -IbpXj 1 4 将PaXj用二进制表示，取小数点后虻位作为符号元％的码字。 哈夫曼Huffm