BP神经网络

Harbin Institute of TechnologyHarbin Institute of Technology 实验报告 课程名称模式识别 院系电子与信息工程学院 姓名 学号 授课教师 哈尔滨工业大学 1实验目的 （1）掌握人工神经网络artificial neutral network , ANN的基本原理、结构及 用途； （2） 深入学习反向传播back propagation , BP神经网络的信息传递与处理模 型、基本算法及其在模式识别中的应用； （3） 构造不同样本修正算法的BP神经网络对实验数据根据要求进行分类， 并对分类结果进行验证、分析。 2实验原理 2.1 人工神经网络概述 人工神经网络Artificial Neural Networks，即 ANN 是基于生物学中神经网 络的基本原理， 在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知 识为理论基础， 模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该 模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息 的加工和存储结合在一起， 以其独特的知识表示方式和智能化的自适应学习能力， 引起各学科领域的关注。 它实际上是一个有大量简单元件相互连接而成的复杂网 络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。 2.2 人工神经网络的特点 神经网络模型用于模拟人脑神经元的活动过程，其中包括对信息的加工、处 理、存储、和搜索等过程。人工神经网络具有如下基本特点 1 高度的并行性； 2 高度的非线性全局作用； 3 联想记忆功能和良好的容错性； 4 良好的自适应、自学习功能； 5 知识的分布存储。 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 因此，它 在功能上具有某些智能特点 1 联想记忆功能； 2 分类与识别功能； 3 优化计算功能； 4 非线性映射功能。 正是神经网络所具有的这种学习和适应能力、 自组织、非线性和运算高度并 行的能力， 解决了传统人工智能对于直觉处理方面的缺陷， 例如对非结构化信息、 语音模式识别等的处理，使之成功应用于神经专家系统、组合优化、智能控制、 预测、模式识别等领域。 2.3 人工神经网络的组织结构 2.3.1神经元 1. 生物神经元的结构神经细胞是构成神经系统的基本单元，称之为生物神 经元，简称神经元，主要由四部分组成胞体、轴突、树突和突触。典型神经元 结构如图 1 所示。 图 1 生物神经元结构 神经元的信息传递和处理是一种电化学活动。 树突由于电化学作用接受外界 的刺激， 通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神 经脉冲或动作电位；再通过轴突末梢传递给其它的神经元。 神经元的功能特性 （1）时空整合功能； （2）神经元的动态极化性； （3）兴 奋与抑制状态； （4）结构的可塑性； （5）脉冲与电位信号的转换； （6）突触延期 和不应期； （7）学习、遗忘和疲劳。 2. 人工神经元的结构神经元是构成神经网络的最基本单元构件。它是一 个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。一个n 输入的神经元模型如图 2 所示。 图 2 人工神经元模型 神经元的输出表示为 Y i  f  i X i  i （2-1） i1 R 其中，神经元的输入向量表示为X [X 1, X2 , w [w 1,w2 , , X R ]T；神经元的权值向量表示为 ,w R ]；神经元的阀值为 i ；神经元的传递函数为f；神经元的输出 为Y i 。 2.3.2激活函数 在神经网络中， 网络解决问题的能力与效率除了与网络结构有关外，在很大 程度上取决于网络所采用的激活函数。 激活函数的选择对网络的收敛速度有较大 的影响，针对不同的实际问题，激活函数的选择也应不同。通常我们会选取有界 的、分段可微的函数作激活函数，常用的激活函数有以下几种形式 1 阈值函数该函数通常也称为阶跃函数。当激活函数采用阶跃函数时， 人工神经元模型即 MP 模型。此时神经元的输出取 1 或 0，反应了神经元的兴奋 或抑制。 2 线性函数该函数可以在输出结果为任意值时作为输出神经元的激活函 数， 但是当网络复杂时， 线性激活函数大大降低网络的收敛性， 故一般较少采用。 3 对数 S 形函数对数S 形函数的输出介于 01 之间，常被要求为输出在 01 范围的信号选用。它是神经元中使用最为广泛的激活函数。 4 双曲正切 S 形函数双曲正切S 形函数类似于被平滑的阶跃函数，形状 与对数 S 形函数相同，以原点对称，其输出介于-11 之间，常常被要求为输出 在-11 范围的信号选用。 本次试验选取 S 型Sigmoid 函数，如图 3 中，图（a）和图（b） 。Sigmoid 函数的特性1）非线性，单调性。2）无限次可微。3）当权值很大时可近似阈 值函数。当权值很小时可近似线性函数。 ab 图 3 人工神经网络激活函数示意图 2.3.3学习规则 神经网络的学习规则是修正权值的一种算法，分为联想式和非联想式学习， 有监督学习和无监督学习等。下面介绍几个常用的学习规则。 1 误差修正型规则是一种有监督的学习方法，根据实际输出和期望输出 的误差进行网络连接权值的修正，最终网络误差小于目标函数达到预期结果。误 差修正法， 权值的调整与网络的输出误差有关， 它包括 δ 学习规则、 Widrow-Hoff 学习规则、感知器学习规则和误差反向传播的 BPBack Propagation学习规则等。 2 竞争型规则无监督学习过程，网络仅根据提供的一些学习样本进行自 组织学习， 没有期望输出， 通过神经元相互竞争对外界刺激模式响应的权利进行 网络权值的调整来适应输入的样本数据。 对于无监督学习的情况， 事先不给定标准样本， 直接将网络置于“环境”之中， 学习训练阶段与应用工作阶段成为一体。 3 Hebb 型规则利用神经元之间的活化值激活值来反映它们之间联接性 的变化，即根据相互连接的神经元之间的活化值激活值来修正其权值。 在 Hebb 学习规则中， 学习信号简单地等于神经元的输出。 Hebb 学习规则代 表一种纯前馈﹑无导师学习。 该学习规则至今在各种神经网络模型中起着重要作 用。典型的应用如利用 Hebb 规则训练线性联想器的权矩阵。 4 随机型规则在学习过程中结合了随机、概率论和能量函数的思想，根 据目标函数（即网络输出均方差）的变化调整网络的参数，最终使网络目标函数 达到收敛值。 2.3.4神经元之间的连接形式 单独的人工神经元不能独自处理输入信号， 神经网络是一个复杂的互连系统， 单元之间的互连模式将对网络的性质和功能产生重要影响，互连模式种类繁多。 典型的神经网络结构可以分为以下两类前馈型神经网络和反馈型神经网络。 1.前馈型神经网络前向网络网络可以分为若干“层”，各层按信号传输先 后顺序依次排列， 。 第 i 层的神经元只接受第i-1层神经元给出的信号， 各神经元