信息论习题

信息理论习题集 信息理论基础习题集信息理论基础习题集【考前必看】【考前必看】 一、一、判断：判断： 1、必然事件和不可能事件的自信息量都是 0 。 p(xi) 2 2、、 自信息量是的单调递减函数。 3 3、、 单符号离散信源的自信息和信源熵都具有非负性。 4 4、、 单符号离散信源的自信息和信源熵都是一个确定值。 5、 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递 减的 6、自信息量、条件自信息量和联合自信息量之间有如下关系： I(x i y j )  I(x i )  I(y j / x i )  I(y j )  I(x i / y j ) 7、自信息量、条件自信息量和互信息量之间有如下关系： I(x i ; y j )  I(x i )  I(x i / y j )  I(y j )  I(y j / x i ) 8、当随机变量 X 和 Y 相互独立时，条件熵等于信源熵。 9、当随机变量 X 和 Y 相互独立时，I（X；Y）=H（X） 。 10、信源熵具有严格的下凸性。 11、平均互信息量 I（X；Y）对于信源概率分布 p（xi）和条件概率分布 p（yj/xi）都具有凸函数性。 12、m 阶马尔可夫信源和消息长度为 m 的有记忆信源，其所含符号的依 赖关系相同。 13、利用状态极限概率和状态一步转移概率来求 m 阶马尔可夫信源的极 限熵。 14、定长编码的效率一般小于不定长编码的效率。 15、信道容量 C 是 I（X；Y）关于 p（xi）的条件极大值。 16、离散无噪信道的信道容量等于 log2n，其中 n 是信源 X 的消息个数。 17、信道无失真传递信息的条件是信息率小于信道容量。 18、最大信息传输速率，即：选择某一信源的概率分布（p（xi） ） ，使信 道所能传送的信息率的最大值。 19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对 信源存在的不确定性就越小，获得的信息量就越小。 20、率失真函数对允许允许的平均失真度具有上凸性。 21、信源编码是提高通信有效性为目的的编码。 22、信源编码通常是通过压缩信源的冗余度来实现的。 23、 离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 25、在编 m（m2）进制的哈夫曼码时，要考虑是否需要增加概率为 0 的码字，以使平均码长最短。 1 信息理论习题集 26、对于 BSC 信道，信道编码应当是一对一的编码，因此，消息 m 的 长度等于码字 c 的长度。 27、汉明码是一种线性分组码。 28、循环码也是一种线性分组码。 29、卷积码是一种特殊的线性分组码。 30、可以用克劳夫特不等式作为唯一可译码存在的判据。（ ） 31、线性码一定包含全零码。（ ） 32、确定性信源的熵 H(0,0,0,1)=1。（） 33、信源 X 的概率分布为 P(X)={1/2, 1/3, 1/6}，对其进行哈夫曼编码得到的码是唯一的。 （） 34、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 （） 35、非奇异的定长码一定是唯一可译码。（） 36、信息率失真函数 R(D)是在平均失真不超过给定失真限度D 的条件下，信息率容许压缩 的最小值。（） 37、信源 X 的概率分布为 P(X)={1/2, 1/3, 1/6}，信源 Y 的概率分布为 P(Y)={1/3,1/2,1/6}，则 信源 X 和 Y 的熵相等。（） 38、互信息量 I(X;Y)表示收到 Y 后仍对信源 X 的不确定度。（） 39、 对信源符号 X={a1,a2,a3,a4}进行二元信源编码， 4 个信源符号对应码字的码长分别为K1=1， K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。（） 40、设 C = {000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010}是一个二元线 性分组码，则该码最多能检测出3 个随机错误。（ ） 二、选择题（共二、选择题（共 1010 分，每题分，每题 2 2 分）分） 1.下面表达式中正确的是（） 。 A. C.  p(y j i j j / x i ) 1B.p(y j / x i ) 1 i p(x , y ) (y ) D.p(x , y )  q(x ) jjiji i 4.线性分组码不具有的性质是（） 。 A.任意多个码字的线性组合仍是码字 B.最小汉明距离等于最小非0 重量 C.最小汉明距离为 3 D.任一码字和其校验矩阵的乘积cmHT=0 5.率失真函数的下限为（ ） 。 A .H(U)B.0C.I(U; V)D.没有下限 6.纠错编码中，下列哪种措施不能减小差错概率（） 。 A. 增大信道容量B. 增大码长C. 减小码率D. 减小带宽 2 信息理论习题集 7.一珍珠养殖场收获 240 颗外观及重量完全相同的特大珍珠， 但不幸被人用外观相同但重量 仅有微小差异的假珠换掉1 颗。一人随手取出 3 颗，经测量恰好找出了假珠， 不巧假珠又滑 落进去，那人找了许久却未找到，但另一人说他用天平最多6 次能找出，结果确是如此，这 一事件给出的信息量（） 。 A. 0bitB. log6bitC. 6bitD. log240bit 8.下列陈述中，不正确的是（） 。 A.离散无记忆信道中，H（Y）是输入概率向量的凸函数 B.满足格拉夫特不等式的码字为惟一可译码 C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、 纠错能力越强 D.满足格拉夫特不等式的信源是惟一可译码 10.下列离散信源，熵最大的是（） 。 A. H（1/3,1/3,1/3） ；B. H（1/2,1/2） ； C. H（0.9,0.1） ；D. H（1/2,1/4,1/8,1/8) 11.下列不属于消息的是（） 。 A.文字B.信号C.图像D.语言 12.为提高通信系统传输消息有效性，信源编码采用的方法是（） 。 A.压缩信源的冗余度B.在信息比特中适当加入冗余比特 C.研究码的生成矩阵D.对多组信息进行交织处理 13.最大似然译码等价于最大后验概率译码的条件是（） 。 A.离散无记忆信道B.无错编码 C.无扰信道D.消息先验等概 14.下列说法正确的是（） 。 A.等重码是线性码 B.码的生成矩阵唯一 C.码的最小汉明距离等于码的最小非0 重量 D.线性分组码中包含一个全0 码字 15.二进制通信系统使用符号0 和 1，由于存在失真，传输时会产生误码，用符号表示下列事 件，u0:一个 0 发出u1:一个 1 发出v0 :一个 0 收到v1:一个 1 收到 则已知收到的符号，被告知发出的符号能得到的信息量是（） 。 A. H(U/V)B. H(V/U)C. H(U,V)D. H(UV) 16. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为 12，则得到的自信 息为（） 。 A. －log36bitB. log36bitC. －log (11/36)bitD. log (11/36)bit 17.下列