最陡下降算法是什么

Fanly QA 2020-10-08 00:10:09 阅读(...)

最陡下降法又称梯度下降法是一个一阶最优化算法。要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。

最陡下降法(steepest descent method)又称梯度下降法(英语:Gradient descent)是一个一阶最优化算法

最陡下降算法是什么

要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法。

描述

梯度下降方法基于以下的观察:如果实值函数

因而,如果

对于

,

因此可得到

如果顺利的话序列

图片示例了这一过程,这里假设

算法框图

算法框图如下:

例子

梯度下降法处理一些复杂的非线性函数会出现问题,例如 Rosenbrock 函数:

其最小值在(x,y)=(1,1)处,数值为 0,但是此函数具有狭窄弯曲的山谷

,最小值(x,y)=(1,1)就在这些山谷之中,并且谷底很平。优化过程是之字形的向极小值点靠近,速度非常缓慢。

缺点

梯度下降法的缺点包括:

靠近极小值时速度减慢;

直线搜索可能会产生一些问题;

可能会“之字型”地下降。

收藏 0个人收藏
走进科技生活方式

评论交流

泪雪默认头像 请「登录」后参与评论
  1. 加载中..

相关推荐

  • 最大期望算法是什么

    最大期望算法是什么

    最大期望算法(EM)是一类通过迭代进行极大似然估计的优化算法,通常作为牛顿迭代法的替代用于对包含隐变量或缺失数据的概率模型进行参数估计。
  • 蚁群算法是什么

    蚁群算法是什么

    蚁群算法是一种用来寻找优化路径的概率型算法。其灵感来源于蚂蚁在寻找食物过程中发现路径的行为,这种算法具有分布计算、信息正反馈和启发式搜索的特征,本质上是进化算法中的一种启发式全局优化算法。
  • 竞争算法是什么

    竞争算法是什么

    帝国竞争算法(imperialist competitive algorithm, ICA )是一种受帝国竞争行为启发的新的智能优化算法,它与粒子群优化(PSO)、蚁群(BCO)等算法一样,都属于基于群体的随机优化搜索算法。
  • Coffee machine 咖啡机

    咖啡机的种类有哪些

    咖啡机有全自动咖啡机,它方便快捷品质一致高效率,需要良好的保养,维护费用较高;还有半自动咖啡机,它不能磨豆,只能用咖啡粉,需要操作者自己填粉和压粉;以及高压蒸汽咖啡机、美式(传统滴滤式)咖啡机、意式(高压泵浦)咖啡机、胶囊咖啡机等等。
  • air conditioner 空调

    清洗空调的好处是什么

    清洗空调可增强制冷,清洗后空调内无尘无垢,气流交换顺畅;有益健康可不但大大减少空调综合症的发病机率,还净化了室内空气,除去空调产生的怪味;延长空调使用寿命;空调工作效率提高可降低电耗;清洗空调后,故障率降低,耗电量下降,无形中节省开支。
  • dough maker 和面机

    和面机与揉面机的区别是什么

    和面机和揉面机不是同一种机器,和面机是将干面粉和水和成面团,而揉面机又叫压面机,是将和好的面团进行再加工,使面的口感柔软。和面机是将原料混合搅拌均匀的,代替传统手工揉面的,是开始的步骤;揉面机一般用来成型的,压出来的是成形的面条。