神经网络试验指导书2013版1

北京信息科技大学自编实验讲义北京信息科技大学自编实验讲义 神经网络实验指导书神经网络实验指导书 许晓飞许晓飞陈雯柏编著陈雯柏编著 自动化学院自动化学院 智能科学与技术系智能科学与技术系 20132013年年1 1月月 实验指导 实验目的实验目的: :(1)熟悉 Matlab/Simulink 的使用. (2)掌握 SOM 神经网络的基本原理和基本的设计步骤. (3) 熟悉 SOM 神经网络在实际中的应用. 实验原理实验原理: : 通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 自组织网络的自组织功能是通过竞争学习（competitive learning）实现的。 1981 年芬兰 Helsink 大学的 T.Kohonen教授提出一种自组织特征映射网， 简称 SOM 网， 又称 Kohonen 网。Kohonen 认为：一个神经网络接受外界输入模式时，将会分为不同的对 应区域，各区域对输入模式具有不同的响应特征， 而且这个过程是自动完成的。 自组织特征 映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。SOM 网共有两层， 输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。 Kohonen 学习算法程序流程: 初始化、归一化权向量WW： ˆ ，j=1,2,…m；WW j 建立初始优胜邻域Nj*(0) 学习率(t)赋初始值 输入归一化样本 ˆ p，p{1,2,…,P} X X ˆT X X ˆp ，j=1,2,…m计算点积WW j 选出点积最大的获胜节点j* 定义优胜邻域Nj*(t) 对优胜邻域 Nj*(t)内节点调整权值： wij(t 1)  wij(t) (t,N)[xi p  wij(t)] i=1,2,…njNj*(t) N (t) 实验指导 实验目的实验目的: :(1)熟悉 Matlab/Simulink 的使用. (2)掌握 DHNN 神经网络的基本原理和基本的设计步骤. (3) 熟悉 DHNN 神经网络在实际中的应用. 实验原理实验原理: : Hopfield 网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学 家 J.J.Hopfield 教授于 1982 年提出，是一种单层反馈神经网络，结构如下所示。 DHNN 网实质上是一个离散的非线性动力学系统。 网络从初态 X(0)开始， 若能经有限次 递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。 如果网络是稳定的，它可以从任一初态收敛到一个稳态. 若把需记忆的样本信息存储于 网络不同的吸引子， 当输入含有部分记忆信息的样本时， 网络的演变过程便是从部分信息寻 找全部信息，即联想回忆的过程。 实验内容实验内容: : 设印刷体数字由 10*10 点阵构成， 就是将数字分成很多小方块， 每个方块就对应数字的 一部分，构成数字本部分的方块用 1 表示，空白处用-1 表示。试设计一个 Hopfield 网络， 能够正确识别印刷体的数字数字 0-90-9 的识别的识别,考察网络对受污染的数字点阵的识别，证明网络的 有效性。 实验步骤：实验步骤： （1）确定网络的输入向量与目标向量； （2）确定网络的结构，创建一个Hopfield 神经网络，设计参数； （3）编辑相应的 M 文件实现对给定受噪声污染的数字点阵的恢复，对 DHNN 网络进行仿 真.要求考虑固定噪声和随机噪声两种情况。 注：随机噪声的生成 Noise_one=one; Noise_two=two; For i=1:100 a =rand; if a 0.2 Noise_one(i)= -one(i); Noise_two(i)= -two(i); End End 显示图的运行结果 放大图像：imresize(one,20) 显示图像：imshow(one) RBFRBF 神经网络神经网络 实验目的实验目的: :(1)熟悉 Matlab/Simulink 的使用. (2)掌握 RBFRBF 神经网络的基本原理和基本的设计步骤. (3) 熟悉 RBFRBF 神经网络在实际中的应用. 实验原理实验原理: : 径向基函数(RBF-Radial Basis Function)神经网络是由 J.Moody 和 C.Darken 在 80 年代末 提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相 互覆盖接收域（或称感受野-Receptive Field）的神经网络结构，因此， RBF 网络是一种局部 逼近网络，已证明它能任意精度逼近任意连续函数。 1 1．．RBFRBF 网络特点网络特点 （1） RBF 网络的作用函数为高斯函数，是局部的，BP 网络的作用函数为 S 函数，是全 局的； （2）如何确定 RBF 网络隐层节点的中心及基宽度参数是一个困难的问题； （3）已证明 RBF 网络具有唯一最佳逼近的特性，且无局部极小。 2. 2.RBFRBF 网络结构网络结构 RBF 网络是一种三层前向网络。 RBF 网络结构如图 2.1 所示。由于输入到输出的映射是 非线性的， 而隐含层空间到输出空间的映射是线性的， 从而可以大大加快学习速度并避免局 部极小问题。 h 1 x 1 x 2 h 2 w 2 w 1  y m x n h m w m 图 2.1RBF 网络结构 3. 3.RBFRBF 网络的逼近网络的逼近 采用 RBF 网络逼近一对象的结构如图2.2 所示。 u( k ) 对象 y( k ) + + - - RBF y m ( k ) 图 2.2RBF 网络逼近 在 RBF 网络结构中，X  x ,x ,xT为网络的输入向量。设 RBF 网络的径向基向量 12n  2 H [h ,h , h h ]T ，其中 hj为高斯基函数：h j  exp(- 12jm X - C j 2b2 j ), j  1,2, m 网络的第j个结点的中心矢量为： C ij  [c 1 j ,c 2 j c ij c n j ]T 其中，i 1,2,,n 设网络的基宽向量为： B  [b 1 ,b 2   b m ]T b j 为 节 点 的 基 宽 度 参 数 ， 且 为 大 于 零 的 数 。 网 络 的 权 向 量 为 ： W  [w 1 , w 2  w j  w m ] k时刻网络的输出为： y m (k )=wh w+w 2 h2+   +w m hm 1h1 （2.1） 设理想输出为y(k)，则性能指标函数为： 1 E ( k ) ( y ( k ) y m ( k )) 2 2 （2.2） 根据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下： w j (k)  w j (k -1)  η(y(k) - y m (k))h j (w j (k 1)  w j (k  2)) （2.3）  b j  ( y (k ) - y m (k )) w j h j X - C j b j 3 2 （2.4） b j (k )  b j (k -1)  ηb j (b