神经网络算法BP神经网络算法的介绍

bp神经网络用啥算法？

自己找个例子算一下，推导一下，这个回答起来比较复杂 神经网络对模型的表达能力依赖于优化算法，优化是一个不断计算梯度并调整可学习参数的过程，Fluid中的优化算法可参考?优化器?。

在网络的训练过程中，梯度计算分为两个步骤：前向计算与?反向传播?。

前向计算会根据您搭建的网络结构，将输入单元的状态传递到输出单元。

反向传播借助?链式法则?，计算两个或两个以上复合函数的导数，将输出单元的梯度反向传播回输入单元，根据计算出的梯度，调整网络的可学习参数。

BP算法 隐层的引入使网络具有很大的潜力。

但正像Minskey和Papert当时所指出的．虽然对所有那些能用简单(无隐层)网结解决的问题有非常简单的学习规则，即简单感知器的收敛程序(主要归功于Widrow和HMf于1960年提出的Delta规刚)， BP算法 但当时并没有找到同样有技的含隐层的同培的学习规则。

对此问题的研究有三个基本的结果。

一种是使用简单无监督学习规则的竞争学习方法．但它缺乏外部信息．难以确定适台映射的隐层结构。

第二条途径是假设一十内部(隐层)的表示方法，这在一些先约条件下是台理的。

另一种方法是利用统计手段设计一个学习过程使之能有技地实现适当的内部表示法，Hinton等人(1984年)提出的Bolzmann机是这种方法的典型例子．它要求网络在两个不同的状态下达到平衡，并且只局限于对称网络。

Barto和他的同事(1985年)提出了另一条利用统计手段的学习方法。

但迄今为止最有教和最实用的方瑶是Rumelhart、Hinton和Williams(1986年)提出的一般Delta法则，即反向传播(BP)算法。

Parter(1985年)也独立地得出过相似的算法,他称之为学习逻辑。

此外， Lecun(1985年)也研究出大致相似的学习法则。

什么是蚁群算法，神经网络算法，遗传算法

蚁群算法又称蚂蚁算法，是一种用来在图中寻找优化路径的机率型算法。

它由Marco Dorigo于1992年在他的博士论文中提出，其灵感来源于蚂蚁在寻找食物过程中发现路径的行为。

蚁群算法是一种模拟进化算法,初步的研究表明该算法具有许多优良的性质.针对PID控制器参数优化设计问题,将蚁群算法设计的结果与遗传算法设计的结果进行了比较,数值仿真结果表明,蚁群算法具有一种新的模拟进化优化方法的有效性和应用价值。

神经网络 思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。

逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。

这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。

人工神经网络就是模拟人思维的第二种方式。

这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。

虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。

目前，主要的研究工作集中在以下几个方面： （1）生物原型研究。

从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

（2）建立理论模型。

根据生物原型的研究，建立神经元、神经网络的理论模型。

其中包括概念模型、知识模型、物理化学模型、数学模型等。

（3）网络模型与算法研究。

在理论模型研究的基础上构作具体的神经网络模型，以实现计算机馍拟或准备制作硬件，包括网络学习算法的研究。

这方面的工作也称为技术模型研究。

（4）人工神经网络应用系统。

在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。

纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。

我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

遗传算法，是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法，它最初由美国Michigan大学J.Holland教授于1975年首先提出来的，并出版了颇有影响的专著《Adaptation in Natural and Artificial Systems》，GA这个名称才逐渐为人所知，J.Holland教授所提出的GA通常为简单遗传算法（SGA）。

神经网络是回归算法还是分类算法

不是很清楚题主所说的难具体指什么如果题主指应用算法解决实际问题的话决策树要简单一些有很多封装的很好的decisiontree的包，比如CART，C4.5等等而神经网络(NN)一般有大量参数需要手工设置和调节如果题主指算法推导的难度的话两个差不多吧决策树的分裂方法可能稍微简单一下NN的话用BP或者SGD的话都需要用chainrule求导

BP神经网络算法的介绍

BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。

它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。