本章要点:最速下降法的基本思想及特点牛顿方向Newton法基本思想及特点共轭方向、共轭方向法的基本定理共轭梯度法基本思想拟Newton法的基本思想

网速慢的原因  时间:2021-05-21  阅读:()

第四章无约束非线性问题的解法学习的重要性:1、直接用于无约束的实际问题;2、其基本思想和逻辑结构可以推广到约束问题;3、约束问题可以转化成无约束问题求解.
方法分类:1、间接法:对简单问题,求解必要条件或充分条件;2、迭代算法:零阶法:只需计算函数值f(x)一阶法:需计算f(x)二阶法:需计算2f(x)直接法梯度法本章主要介绍无约束最优化方法,它的应用比较广泛,理论比较成熟.
另一方面,通常可以把一些约束优化问题转化为无约束问题来处理,所以它是最优化方法中的基本方法.
这些方法通常要用到函数的一阶或二阶导数.
在实际问题中,也常遇到函数的解析表达式比较复杂,有的甚至写不出明显的解析表达式,因而导数很难求出或无法求出,这时基于梯度的方法不能用,需要采取另一种所谓的直接法(或直接搜索法).
直接法是仅仅利用函数值的信息,去寻找最优解的一类方法.
在后面第九章有介绍.

考虑无约束优化问题:直接搜索法收敛速度一般比较慢,需要计算大量的函数值.
梯度反映了函数值变化的规律,充分利用梯度信息构造算法,能加速收敛.
使用函数的梯度(一阶导数)或Hesse矩阵(二阶导数)的优化算法统称为梯度法.
算法目标:求出平稳点(满足f(x)=0的x*).
由于f(x)=0一般是非线性方程组,解析法往往行不通,所以梯度法通常是逐次逼近的迭代法.
假定:f(x)和2f(x)连续存在§4.
1最速下降法(Cauchy法)(一)基本思想x(k+1)=x(k)+tkd(k)x(k)x*d(k)=-f(x(k))x(k+1)d(k+1)=-f(x(k+1))瞎子下山:由于他看不到哪里是山谷,不可能沿直接指向山谷的路线走,他只能在当前位置上,靠手杖作局部探索,哪里最陡就往哪里前进一步,然后在新的位置上再用手杖寻找最陡方向,再下降一步.
这就是最速下降法的形象比喻.

多变量最优化迭代解法的一般迭代公式:可用一维搜索技术解决关键是如何确定搜索方向d(k)最速下降法迭代公式x(k+1)=x(k)-tkf(x(k))1847年Cauchy提出.
特点是直观易懂,但收敛速度慢.
下面看一下理论推导:设函数f(x)在xk附近连续可微,且gk=f(xk)≠0,由Taylor展式可知,若记x-xk=tdk,则满足(dk)TgkMx*=x(k)是结束是一维搜索求tk精度为2否x(k+1)=x(k)-tkf(x(k))k=k+1(三)最速下降法的搜索路径呈直角锯齿形定理4.
1设从点x(k)出发,沿方向d作精确一维搜索,tk为最优步长因子,即f(x(k)+tkdk)=minf(x(k)+tdk)则成立f(x(k)+tkd)Td=0,即新点处的梯度与搜索方向垂直.
即t>0x(k+1)d(k)x(k)f(x)等值面f(x(k+1))tkd(k+1)二维情形下最速下降法搜索路径:由此可以看出,最速下降法仅是算法的局部性质.
对于许多问题,全局看最速下降法并非"最速下降",而是下降的较缓慢.
数值试验表明,当目标函数的等值线接近于一个圆(球)时,最速下降法下降较快,而当目标函数的等值线是一个扁长的椭球时,最速下降法开始几步下降较快,后来由于出现"锯齿"现象,下降就比较缓慢.

棉花云1折起(49元), 国内BGP 美国 香港 日本

棉花云官网棉花云隶属于江西乐网科技有限公司,前身是2014年就运营的2014IDC,专注海外线路已有7年有余,是国内较早从事海外专线的互联网基础服务提供商。公司专注为用户提供低价高性能云计算产品,致力于云计算应用的易用性开发,并引导云计算在国内普及。目前公司研发以及运营云服务基础设施服务平台(IaaS),面向全球客户提供基于云计算的IT解决方案与客户服务(SaaS),拥有丰富的国内BGP、双线高防...

RackNerd新上圣何塞、芝加哥、达拉斯、亚特兰大INTEL系列,$9.49/年

racknerd怎么样?racknerd商家最近促销三款美国便宜vps,最低只需要9.49美元,可以选择美国圣何塞、西雅图、纽约和芝加哥机房。RackNerd是一家成立于2019年的美国高性价比服务器商家,主要从事美国和荷兰数据中心的便宜vps、独立服务器销售!支持中文工单、支持支付宝和微信以及PayPal付款购买!点击直达:racknerd官方网站INTEL系列可选机房:加利福尼亚州圣何塞、芝加...

ProfitServer$34.56/年,西班牙vps、荷兰vps、德国vps/不限制流量/支持自定义ISO

profitserver怎么样?profitserver是一家成立于2003的主机商家,是ITC控股的一个部门,主要经营的产品域名、SSL证书、虚拟主机、VPS和独立服务器,机房有俄罗斯、新加坡、荷兰、美国、保加利亚,VPS采用的是KVM虚拟架构,硬盘采用纯SSD,而且最大的优势是不限制流量,大公司运营,机器比较稳定,数据中心众多。此次ProfitServer正在对德国VPS(法兰克福)、西班牙v...

网速慢的原因为你推荐
山东省高校教师培训管理系统更新win7css3圆角怎样用css实现圆角矩形?重庆宽带测速重庆电信测速我的网速溢出x-router设置路由器是我的上网设置是x怎么弄phpecho在php中 echo和print 有什么区别谷歌sb为什么百度一搜SB是谷歌,谷歌一搜SB是百度?重庆电信测速重庆电信对BT开始限制了?ios10.0.3iphone se ios10.0.3能完美越狱吗?搜狗浏览器2.2我的搜狗浏览器 打开、关闭侧边栏按钮不能打开历史记录了 咋办?
域名拍卖 naning9韩国官网 hostmonster 老鹰主机 香港机房 cve-2014-6271 国外空间 亚洲小于500m 智能骨干网 vip购优汇 服务器是干什么的 南通服务器 空间合租 上海服务器 申请免费空间和域名 双线机房 cloudlink yundun 架设邮件服务器 丽萨 更多