神经网络误差逆传播神经网络算法的改进

中国期刊网www.qikanchina.net

误差逆传播神经网络算法的改进

吕智斌甄德如

关键词神经网络人工神经网络BP网络

0引言

二十世纪是科学技术大发展的世纪是人类文明的新篇章。经过近半个世纪的努力探索一门崭新的向人类自身大脑学习的新学科——人工神经网络

Artificial Neural Network ANN  已经诞生并正在茁壮成长。它是当今世界关注的高科技热点并开始显示出美好的广阔的应用前景人们普遍认为它将使电子科学和信息科学产生革命性的变革。

1BP网络算法描述

设含有n个节点的任意网络各节点之特性为Sigmoid型。为简便起见指定网络只有一个输出y任一节点i的输出为Oi 并设有N个样本(xk yk)(k=1

2 3 … N)  对某一输入xk 网络输出为yk节点i的输出为Oik节点j的输入为netjk=

并将误差函数定义为

从上述BP算法可以看出 BP模型把一组样本的I/O问题变为一个非线性优化问题它使用的是优化中最普通的梯度下降法。如果把神经网络的看成输入到输出的映射则这个映射是一个高度非线性映射。设计一个神经网络专家系统重点在于模型的构成和学习算法的选择。一般来说结构是根据所研究领域及要解决的问题确定的。通过对所研究问题的大量历史资料数据的分析及目前的神经网络理论发展水平建立合适的模型并针对所选的模型采用相应的学习算法在网络学习过程中不断地调整网络参数直到输出结果满足要求。

2BP神经网络算法的学习规则与计算方法

BP网络不仅有输入层结点、输出层结点而且有一层或多层隐含结点。输入信息先传播到隐含层结点上经过各单元的特性为Sigmoid型的激活函数运算后把隐含结点的输出信息传播到输出结点最后给出输出结果传播过程中每一层神经元的状态只影响到下一层神经元网络。如果得不到实际输出转入反向传播过程将误差信号沿原来的连接线路返回通过修改各层神经元的权值逐次地向输入层传播去进行计算再经过正向传播过程这两个过程的反复运用使得误差信号最小 网络学习过程就结束。

3BP网络的改进方案