神经网络考试重点

神经网络考试重点神经网络考试重点 1、熵和信息的关系、性质，什么叫熵，条件熵、联合熵、互信息之间的关系，K-L 散度的定义（K-L 极小 等于极大似然估计） 。第十章 答：答：熵 H(X)：表示每一个消息所携带的信息的平均量。在H(X)中 X 不是 H(X)的变量，而是一个随机变量 的标记。 条件熵：给定 Y 时 X 的条件熵为 H(X|Y)=H(X,Y)—H(Y) 具有性质：0=H(X|Y)M) 维原始信号向量。 X=kA. s/k 信号 S 放大 k 倍与 A 的相应列缩小 k 倍的结果相同，从而决定了 ICA 得到的信号存在强 ICA 和 PCA 的差异：个性和共性。 3、SVM 的基本原理（PPT） 、数学模型（线性可分、线性不可分的原理和模型） 。 答：支持向量机（SVM）的主要思想是建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘被 最大化。更精确说，支持向量机是结构风险最小化方法的近似实现。 4、什么是竞争，怎样体现竞争与合作的关系，以及竞争的原理及过程。 答：答： 自组织神经网络是神经网络最富有魅力的研究领域之一，它能够通过其输入样本学会检测其规律性和 输入样本相互之间的关系，并且根据这些输入样本的信息自适应调整网络，使网络以后的响应与输入样本 相适应。竞争型神经网络的神经元通过输入信息能够识别成组的相似输入向量；自组织映射神经网络通过 学习同样能够识别成组的相似输入向量，使那些网络层中彼此靠得很近的神经元对相似的输入向量产生响 应。与竞争型神经网络不同的是，自组织映射神经网络不但能学习输入向量的分布情况，还可以学习输入 向量的拓扑结构，其单个神经元对模式分类不起决定性作用，而要靠多个神经元的协同作用才能完成模式 分类。 5、RBF 网络模型、原理，XOR 问题，正则化网络（） 答：答： 1、RBF 的定义：在神经网络的背景下，隐藏单元提供一个“函数”集，该函数集在输入模式（向量） 扩展至隐藏空间时为其构建了一个任意的“基” ；这个函数集中的函数就被称为径向基函数。 2、RBF 网络的构成：包括三层，每一层都有着完全不同的作用。第一层为输入层，输入层由一些源 点（感知单元）组成，将网络与外界环境连结起来；第二层为隐藏层，作用是从输入空间到隐藏空间之间 进行非线性变换，在大多数情况下隐藏层具有较高的维数；第三层为输出层，是线性的，为作用与输入层 的激活模式（信号）提供响应。 3、原理：当用 RBF 神经网络来解决一个复杂的模式分类任务时，问题的基本解决可以通过用非线性 方式将其变换到一个高维空间。它的潜在合理性来自模式可分性的 cover 定理，基本描述如下： 将复杂的模式分类问题非线性地投射到高维空间将比投射到低维空间更肯呢过是线性可分的。 4、XOR 问题： 5、正则化的基本思想： 通过某些含有解的先验知识的非负的辅助泛函来使解稳定。将正则化参数  视为一个指示器，用来 （ 的样本的充分性。特别是在极限情况下，当 0时，表明改问题指示所给的数据集作为确定解Fx） （ 不受约束，问题解F完全决定于所给的样本。另一方面，当 时，表明仅由算子 D 所定义的先  x） （ 验光滑条件就足以得到问题的解F，这也是所给样本完全不可信的另一种说法。在实际应用中，正则  x） 化参数 答：答： 1、多层感知器（MLPs）的基本模型： 一组感知单元（源节点）组成输入层，一层或多层计算节点的隐藏层，还有一层计算节点的输出层。 输入信号在层层递进基础上前向传播通过网络。这些神经网络通常称为多层感知器。  取值在上述两个极限值之间。 6、多层感知器（MLPs）的基本模型，BP 算法的基本原理。 （第四章） 2、MLPs 的特点： 1、网络中的每一个神经元模型包括一个非线性激活函数； 2、网络包括一层或者多层隐藏神经元； 3、网络展示出高度的连续性。 3、BP（反向传播）算法： 反向传播算法是基于误差修正学习规则的，由误差来决定是否更新权重，可以被看成是同样普遍使用 的自适应滤波算法的推广。误差反向传播学习由两次经过网络不同层的通过组成：一次前向通过和一次反 向通过。在前向通过中，一个活动模式（输入向量）作用于网络感知节点，它的影响经过网络一层接一层 地传播。最后，产生一个输出作为网络的实际响应。在前向通过中，网络的突触权值全为固定的。另一方 面，在反向通过中，突出权值全部根据误差修正规则来调整。特别是从目标响应减去网络的实际响应而产 生误差信号。突触权值被调整使得网络的实际响应从统计意义上接近目标响应。 7、梯度算法（单层感知器） ，0-1 问题（第三章） 答：答： 1、单层感知器： 感知器的突触权值记为 w1,w2,.,wm,相应的，用于感知器的输入量记为 x1,x2,.,xm，外部应用偏置记为 b，可知硬限幅器输入或神经元的诱导局部域是： m v w i x i b i1 感知器的目的是把外部应用刺激 x1,x2,.,xm正确的分为两类。分类规则是：如果感知器输出y 是+1 就 将 x1,x2,.,xm表示的点归为一类，如果感知器输出 y 是-1 则归为另一类。 2、0-1 问题 8、有哪几种学习算法，它们的基本原理。 答：答： 学习是一个过程，通过这个过程神经网络的自由参数在其嵌入的环境的激励过程之下得到调节。 1、误差修正学习： 描述神经网络惟一输出的输出信号 yk(n)与由 dk(n)表示的期望响应或目标输出比较，由此产生由 ek(n) 表示的误差信号。误差信号 ek(n)驱动控制机制，其目的是将修正调节序列作用于神经元 k 的突触权值，修 正调节能够以一步步逼近的方式使输出信号 yk(n)向期望输出 dk(n)靠近， 这一目标通过最小化代价函数或性 能指标来实现。 2、基记忆的学习： 基于记忆的学习通过明确地记住训练数据来进行。在基于记忆的学习中，所有（或大部分）以往的经 验被显式地存储到正确分类的输入-输出实例的大量记忆中。其包括；两个重要的组成部分： 用于定义测试向量 Xtest的局部邻域的准则； 用于 Xtest的和局部邻域中的训练实例的学习规则。 3、Hebb 学习： Hebb 学习受了神经生物学上的考虑的启发。Hebb 算法核心思想是，当两个神经元同时处于激发状态 时两者间的连接权会被加强，否则被减弱。Hebb 的理论认为在同一时间被激发的神经元间的联系会被强 化。比如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个 神经元间的联系就会强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激 发，那么它们间的联系将会越来越弱。 4、竞争学习： 竞争学习受了神经生物学上的考虑的启发。在竞争学习中，神经网络中的输出神经元彼此通过竞争来 成为活跃的点。对于竞争学习规则，有三个基本元素： （1）、一个神经元集合，这些神经元处理一些随机分布的突触权值以外是完全相同的，且由于突出 权值的不同而对一个给定的输入模式集合有不同的响应。 （2）对每一个神经元的强度加上的限制； （3）允许神经元为响应一个给定输入子集的权利而竞争的机制，从而使得每次只有一个输出神经元 或者魅族只有一个神经元是激活的。