神经网络试验指导书2013版1

北京信息科技大学自编实验讲义北京信息科技大学自编实验讲义 神经网络实验指导书神经网络实验指导书 许晓飞许晓飞陈雯柏编著陈雯柏编著 自动化学院自动化学院 智能科学与技术系智能科学与技术系 20132013年年1 1月月 实验指导 实验目的实验目的 1熟悉 Matlab/Simulink 的使用. 2掌握 SOM 神经网络的基本原理和基本的设计步骤. 3 熟悉 SOM 神经网络在实际中的应用. 实验原理实验原理 通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 自组织网络的自组织功能是通过竞争学习（competitive learning）实现的。 1981 年芬兰 Helsink 大学的 T.Kohonen教授提出一种自组织特征映射网， 简称 SOM 网， 又称 Kohonen 网。Kohonen 认为一个神经网络接受外界输入模式时，将会分为不同的对 应区域，各区域对输入模式具有不同的响应特征， 而且这个过程是自动完成的。 自组织特征 映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。SOM 网共有两层， 输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。 Kohonen 学习算法程序流程 初始化、归一化权向量WW ˆ ，j1,2,m；WW j 建立初始优胜邻域Nj*0 学习率t赋初始值 输入归一化样本 ˆ p，p{1,2,,P} X X ˆT X X ˆp ，j1,2,m计算点积WW j 选出点积最大的获胜节点j* 定义优胜邻域Nj*t 对优胜邻域 Nj*t内节点调整权值 wijt 1  wijt t,N[xi p  wijt] i1,2,njNj*t N t 实验指导 实验目的实验目的 1熟悉 Matlab/Simulink 的使用. 2掌握 DHNN 神经网络的基本原理和基本的设计步骤. 3 熟悉 DHNN 神经网络在实际中的应用. 实验原理实验原理 Hopfield 网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学 家 J.J.Hopfield 教授于 1982 年提出，是一种单层反馈神经网络，结构如下所示。 DHNN 网实质上是一个离散的非线性动力学系统。 网络从初态 X0开始， 若能经有限次 递归后，其状态不再发生变化，即Xt1＝Xt，则称该网络是稳定的。 如果网络是稳定的，它可以从任一初态收敛到一个稳态. 若把需记忆的样本信息存储于 网络不同的吸引子， 当输入含有部分记忆信息的样本时， 网络的演变过程便是从部分信息寻 找全部信息，即联想回忆的过程。 实验内容实验内容 设印刷体数字由 10*10 点阵构成， 就是将数字分成很多小方块， 每个方块就对应数字的 一部分，构成数字本部分的方块用 1 表示，空白处用-1 表示。试设计一个 Hopfield 网络， 能够正确识别印刷体的数字数字 0-90-9 的识别的识别,考察网络对受污染的数字点阵的识别，证明网络的 有效性。 实验步骤实验步骤 （1）确定网络的输入向量与目标向量； （2）确定网络的结构，创建一个Hopfield 神经网络，设计参数； （3）编辑相应的 M 文件实现对给定受噪声污染的数字点阵的恢复，对 DHNN 网络进行仿 真.要求考虑固定噪声和随机噪声两种情况。 注随机噪声的生成 Noise_oneone; Noise_twotwo; For i1100 a rand; if a 0.2 Noise_onei -onei; Noise_twoi -twoi; End End 显示图的运行结果 放大图像imresizeone,20 显示图像imshowone RBFRBF 神经网络神经网络 实验目的实验目的 1熟悉 Matlab/Simulink 的使用. 2掌握 RBFRBF 神经网络的基本原理和基本的设计步骤. 3 熟悉 RBFRBF 神经网络在实际中的应用. 实验原理实验原理 径向基函数RBF-Radial Basis Function神经网络是由 J.Moody 和 C.Darken 在 80 年代末 提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相 互覆盖接收域（或称感受野-Receptive Field）的神经网络结构，因此， RBF 网络是一种局部 逼近网络，已证明它能任意精度逼近任意连续函数。 1 1．．RBFRBF 网络特点网络特点 （1） RBF 网络的作用函数为高斯函数，是局部的，BP 网络的作用函数为 S 函数，是全 局的； （2）如何确定 RBF 网络隐层节点的中心及基宽度参数是一个困难的问题； （3）已证明 RBF 网络具有唯一最佳逼近的特性，且无局部极小。 2. 2.RBFRBF 网络结构网络结构 RBF 网络是一种三层前向网络。 RBF 网络结构如图 2.1 所示。由于输入到输出的映射是 非线性的， 而隐含层空间到输出空间的映射是线性的， 从而可以大大加快学习速度并避免局 部极小问题。 h 1 x 1 x 2 h 2 w 2 w 1  y m x n h m w m 图 2.1RBF 网络结构 3. 3.RBFRBF 网络的逼近网络的逼近 采用 RBF 网络逼近一对象的结构如图2.2 所示。 u k 对象 y k - - RBF y m k 图 2.2RBF 网络逼近 在 RBF 网络结构中，X  x ,x ,xT为网络的输入向量。设 RBF 网络的径向基向量 12n  2 H [h ,h , h h ]T ，其中 hj为高斯基函数h j  exp- 12jm X - C j 2b2 j , j  1,2, m 网络的第j个结点的中心矢量为 C ij  [c 1 j ,c 2 j c ij c n j ]T 其中，i 1,2,,n 设网络的基宽向量为 B  [b 1 ,b 2   b m ]T b j 为 节 点 的 基 宽 度 参 数 ， 且 为 大 于 零 的 数 。 网 络 的 权 向 量 为 W  [w 1 , w 2  w j  w m ] k时刻网络的输出为 y m k wh ww 2 h2   w m hm 1h1 （2.1） 设理想输出为yk，则性能指标函数为 1 E k  y k y m k 2 2 （2.2） 根据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下 w j k  w j k -1  ηyk - y m kh j w j k 1  w j k  2 （2.3）  b j  y k - y m k w j h j X - C j b j 3 2 （2.4） b j k  b j k -1  ηb j b