神经网络

文档 1414 神神经经网网络络系统系统 及及其其应应用用 14.1、基本概念 14.1.1 人类两类思维模式 人的思维有逻辑性和直观性两种不同的基本方式，逻辑性的思维是指根据 逻辑规则进行推理的过程，它是将信息概念化，按串行的模式进行逻辑分析和 推理。而直观性的思维是将分布式存储的信息并行协同处理的过程。譬如，我 们常常无意识地将分布在人脑各部位的信息综合起来，结果忽然间产生想法或 解决问题的办法，这种思维方式的根本在于以下两点： （1）信息是通过神经元 上的兴奋模式分布存储在网络上； （2）信息处理是通过神经元之间同时相互作 用的动态过程来完全的。 14.1.2人工神经网络（Artificial Newral Network） 人工神经网络是模拟人的直观性思维模式, 在现代生物学研究人脑组织所 取得的成果基础上，用大量简单的处理单元广泛连结组成复杂网络，用以模拟 人类大脑神经网络结构与行为。 人工神经网络是一个非线性系统，其特色在于信息的分布式存储和并行协 同处理。今天的人工神经网络工具已有人脑功能的基本特征：学习、记忆和归 纳。 学习：人工神经网可以被训练，通过训练实件来决定自身行为。 记忆（概括） ：人工神经网络对外界输入信息的少量丢失或网络组织的局 部缺损不敏感， 正如大脑每日有大量神经细胞正常死亡， 但不影响大脑的功能。 联想（归纳） ：例如，对一张人像的一系列不完整的照片识别训练后，再 任选一张缺损的照片让神经网络认别，网络将会作出一个完整形式人像照片的 响应。 14.2、神经网络模型 14.2.1 生物神经元模型 . 文档 图 14.1 神经元结构 14.2.2 人工神经元模型 人工神经元是对生物神经元的简化和模拟，它是神经网络的基本处理单 元。图 14.2 所示为一种简化的神经元结构。这是一个多输入，单输出的非线性 元件，其输入输出关系： I i  ji x j  i ( 14.2-1) s1 n y i  f (I i ) x 0=1 θ x 1 ω 1i yi x2 ω 2i ΣΣ :ω ni x n 图 14.2 神经元结构模型 x j ( j1,2,,n): 从其它细胞传来的输入信号  i : 阈值。  ji : 从细胞 j 到细胞 i 的连接权值 f () : 传递函数。 14.2.3 神经网络模型 神经网络是由大量的神经元广泛互连而成的网络。人工神经网络（模型） 是根据人脑原理将大量人工神经元连结构成一个神经网络去模拟人脑神经网络 的特性。 网络可分为若干层：输入层、中间层（中间层可为若干层）、输出层、如 图 14.3 所示： . 文档 ： . . : ：： : : ： : 输入层中间层输出层 图 14.3 神经网络 如果每一层神经元只接受前一层神经元的输出称为前向网络。如果网络中 任意两个神经元都可能有联接称为互相连接型网络。 目前已有数十种神经网络模型，可分为三大类： 前向网络（Feedforward NNs） 反馈网络（Feedback NNs） 自组织网络（Self-organizing NNs） 有代表性的网络模型有感知器、BP 网络、线性神经网络、 Hopfield 网络 （Fecdback NNs） 、自组织网络等。 以下分别介绍几种有代表性的网络。 1感知器（Perceptron） 美心理学家Rosenbla等于1958年提出了一个最基本的但具有学习功能的层 状网络， 由三层组成， 既 S （Sensory） 层， A （Association） 层和 R （Response） 层。其中， S 层与 A 层是之间的耦合是固定的，A 层为 R 层之间的耦合程度（权 值）可通过学习改变。见图 14.4 . 文档 S A R : : : : : 图 14.4 感知器 感知器的 R 层的单元特性（传递函数）采用符号函数(见 14.2-2)，当输入 的加权和大于或等于阀值时，感知器输出为 1，否则为 O 或为-1。 1 x≥o f(x) = (14.4-2) 0 x0 显然， 这类神经网络可方便地用于模式分类， 但是， 它也有严重的局限性。 2线性神经网络 线性神经网络也是一种简单的神经元模型，可由一个或多个线性神经元构 成，与感知器输入的 1 或 0 不同。线性神经网络中神经元的传递函数为线性函 数 f(x)=x。 因此，线性神经网络的输入输出之间是简单的比例关系。 3BP 网络 （Back propagation NN） BP 网络是一单向性播的多层单向网络， 其结构如图 14.2。 网络除输入输出 节点外，有一层或多层的隐层节点，同层节点中没有任何耦合。输入信号从输 入层节点， 依次传过各隐层节点， 每一层节点的输出只影响下一层节点的输出。 每个节点都是一个单元神经元结构，其单元特性（传递函数）通常采用 Sigmoicl 型。 1 f (x)(o)（14.2-3） 1exp(x) 或为双曲正切函数 . 文档 BP 网络采用的传递（变换）函数为可微的单调逆增函数，这对于网络的学 习训练具有非常重要的意义。 另外，可以证明，对于统一连续函数，都可用一个三层 BP 网络以任意希望 的绝对精度来实现。 （当然，尽管如此，为了减少隐层节点总数，有时还是宁愿 采用多层 BP 网络） 。 因此，BP 网络是一个非常重要的神经网络模型。 4 Hopfield 网络（反馈网络） 以上介绍的几种都是单向网络。网络中的每一层神经元都只接受前一层神 经元的输出。 而在反馈网络中，输入信号决定反馈系统的初始状态，然后系统经过一系 列状态转移后，逐渐收敛于平衡状态。因此，反馈网络是一种动态网络，它需 要工作一段时间才能稳定。稳定性是反馈网络的最重要问题之一。 J. Hopfield 在 1982 年发表的论文宣告了神经网络的第二次浪潮的到来， 他表示，Hopfield 模型可用作联想存储器。如果可把 Lyapunov 函数定义为最 优函数的话，Hopfield 网络还可用来解决快速最优问题。 Hopfield 网络的传递函数采用了对称饱和线性函数 f(x) F  f (x)x F  若 若 xF 若FxF xF (14.2-4) x 图 14.5 对称饱和线性函数 5 自组织网络 人脑由巨量的神经细胞组成，但它们并非都起同样的作用，处于空间不同 区域的神经细胞分工有所不同。例如，在听觉通道的层次上，其神经元与神经 纤维在结构上的排列可能与频率有密切的关系， 对于某个频率,相应的神经元可 能具有更大更积极的响应。 自组织神经网络模型的建立正是基于这样一种认识，它是一种无教师学习 的神经网络。对于输入模式，神经网络的不同区域具有不同的响应特征，通常 . 文档 只有一个神经元或局部区域的神经元对输入模式有积极响应，同时，这一个过 程是自动完成的。 自组织神经网络模型有自组织特征映射，网络