《信息论基础a》(清华)复习资料
第二章离散信源及离散嫡 第二章离散信源及离散嫡 信息论基础A复习资料 作者郝仁 第一章概论 •在认识论层次研究信息时,把只考虑到形式因素的部分称为语法信息, 把只考虑到含义因素的部分称为语义信息;把只考虑到效用因素的部分称为语用 信息。目前,信息论中主要研究语法信息 •归纳起来,香农信息论的研究内容包括: 1) 信息炳、信道容量和信息率失真函数 2) 无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理 3) 信源编码、信道编码理论与方法 • 一般认为,一般信息论的研究内容除香农信息论的研究内容外,还包括 维纳的微弱信号检测理论:包括噪声理论、信号滤波与预测、统计检测与估计理 论、调制理论等。 信息科学以信息为研究对象,信息科学以信息运动规律为研究内容,信 息运动包括获取、传递、存储、处理和施用等环节。 •单符号离散信源的数学模型: X P(X) 也 x2 ••- Xn P(M)P(q),•- P(x“), 自信息量:Z(x,.) = -logvP(x,.),是无量纲的,一般根据对数的底来定义单位: 当对数底为2时,自信息量的单位为比特(bit,binary unit);对数底为e时,其单 位为奈特(nat,nature unit);对数底为10时,其单位为哈特(Hart, Hartley) 自信息量性质:I(Xi)是随机量;I(Xi)是非负值;I(Xi)是P(Xi)的单调递减函数。 •单符号离散信源的离散炳: H(X) = E[Z(.r,.)] = -2P(Xi)lbP(Xj),单位是比特/符号(bit/symbol)。 离散炳的性质和定理:H(X)的非负性;H(X)的上凸性; 最大离散炳定理:H(X)