bp神经网络算法什么是神经网络的BP算法

什么是神经网络的BP算法

简介：BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer) 　　摘 要：ＢＰ神经网络算法是在ＢＰ神经网络现有算法的基础上提出的，是通过任意选定一组权值，将给定的目标输出直接作为线性方程的代数和来建立线性方程组，解得待求权，不存在传统方法的局部极小及收敛速度慢的问题，且更易理解。 　　关键词：固定权值；ｇａｕｓｓ消元法；ＢＰ算法 　　人工神经网络（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＡＮＮ）系统是２０世纪４０年代后出现的，它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点，在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。尤其误差反向传播算法（Ｅｒｒｏｒ Ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ Ｔｒａｉｎｉｎｇ，简称ＢＰ网络）可以逼近任意连续函数，具有很强的非线性映射能力，而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，所以它在许多应用领域中起到重要作用。近年来，为了解决ＢＰ神经网络收敛速度慢、不能保证收敛到全局最小点，网络的中间层及它的单元数选取无理论指导及网络学习和记忆的不稳定性等缺陷，提出了许多改进算法。 　　１ 传统的ＢＰ算法简述 　　ＢＰ算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下： 　　（１）初始化，随机给定各连接权［ｗ］,［ｖ］及阀值θi，ｒt。 　　（２）由给定的输入输出模式对计算隐层、输出层各单元输出 　　ｂj＝ｆ（■wijai-θj） ｃt＝ｆ（■vjtbj－ｒt） 　　式中：ｂj为隐层第ｊ个神经元实际输出；ｃt为输出层第ｔ个神经元的实际输出；wij为输入层至隐层的连接权；vjt为隐层至输出层的连接权。 　　ｄtk＝（ｙtk－ｃt）ｃt（１－ｃt） ｅjk＝［■jt］ ｂj（１－ｂj） 　　式中：ｄtk为输出层的校正误差；ｅjk为隐层的校正误差。 　　（３）计算新的连接权及阀值，计算公式如下： 　　ｖjt（ｎ＋１）＝ｖjt（ｎ）＋?琢ｄtkｂj ｗij（ｎ＋１）＝ｗij（ｎ）＋?茁ｅjkａik 　　ｒt（ｎ＋１）＝ｒt（ｎ）＋?琢ｄtk θj（ｎ＋１）=θj（ｎ）＋?茁ｅjk 　　式中：?琢，?茁为学习系数（０＜?琢＜１，０＜?茁＜１）。 　　（４）选取下一个输入模式对返回第２步反复训练直到网络设输出误差达到要求结束训练。 　　传统的ＢＰ算法，实质上是把一组样本输入/输出问题转化为一个非线性优化问题，并通过负梯度下降算法，利用迭代运算求解权值问题的一种学习方法，但其收敛速度慢且容易陷入局部极小，为此提出了一种新的算法，即高斯消元法。