代价函数机器学习算法中GBDT和XGBOOST的区别有哪些

代价函数  时间:2021-06-26  阅读:()

为什么线性回归的代价函数总是凸函数

凸函数是一个定义在某个向量空间的凸子集C(区间)上的实值函数f设f为定义在区间I上的函数,若对I上的任意两点X1,X2和任意的实数λ∈(0,1),总有f(λx1+(1-λ)x2)≤λf(x1)+(1-λ)f(x2),则f称为I上的凸函数.凹函数小于等于号改为大于等于号。

xgboost为什么对代价函数用二阶泰勒展开

因为这样做可以很清楚地理解整个目标,并且一步一步推导出如何进行树的学习。

传统的GBDT大家可以理解如优化平法残差,但是这样一个形式包含可所有可以求导的目标函数。

也就是说有了这个形式,写出来的代码可以用来求解包括回归,分类和排序的各种问题,正式的推导可以使得机器学习的工具更加一般。

简答说一说吧:实际上使用二阶泰勒展开是为了xgboost能够【自定义loss function】,如果按照最小二乘法的损失函数直接推导,同样能够得到陈佬最终的推导式子: 二阶泰勒展开实际不是 ?最小二乘法,平方损失函数的二阶泰勒展开=最小二乘法。

但陈佬为何想用二阶泰勒展开呢,猜是为了xgboost库的可扩展性,因为任何损失函数只要二阶可导即能【复用】陈佬所做的关于最小二乘法的任何推导。

而且泰勒的本质是尽量去模仿一个函数,猜二阶泰勒展开已经足以近似大量损失函数了,典型的还有基于分类的对数似然损失函数。

嘿,这样同一套代码就能完成回归或者分类了,而不是每次都推导一番,重写训练代码。

扩展资料: 泰勒以微积分学中将函数展开成无穷级数的定理著称于世。

这条定理大致可以叙述为:函数在一个点的邻域内的值可以用函数在该点的值及各阶导数值组成的无穷级数表示出来。

然而,在半个世纪里,数学家们并没有认识到泰勒定理的重大价值。

这一重大价值是后来由拉格朗日发现的,他把这一定理刻画为微积分的基本定理。

泰勒定理的严格证明是在定理诞生一个世纪之后,由柯西给出的。

泰勒定理开创了有限差分理论,使任何单变量函数都可展成幂级数;同时亦使泰勒成了有限差分理论的奠基者。

泰勒于书中还讨论了微积分对一系列物理问题之应用。

其中以有关弦的横向振动之结果尤为重要。

他透过求解方程导出了基本频率公式,开创了研究弦振问题之先河。

此外,此书还包括了他于数学上之其他创造性工作,如论述常微分方程的奇异解,曲率问题之研究等。

参考资料来源:百度百科-代价函数 参考资料来源:百度百科-泰勒公式

如何理解机器学习中的代价曲线

机器学习通俗的说,就是用简单粗暴的方法来发现事物内在的联系。

比如我想做手势识别,我需要一个函数,函数的输入是手势数据,输出是不同手势的类型。

我需要用各种手势数据来训练这个函数,使这个函数能有正确的输出。

机器学习算法中GBDT和XGBOOST的区别有哪些

传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。

传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。

顺便提一下,xgboost工具支持自定义代价函数,只要函数可一阶和二阶求导。

xgboost在代价函数里加入了正则项,用于控制模型的复杂度。

正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。

从Bias-variance tradeoff角度来讲,正则项降低了模型的variance,使学习出来的模型更加简单,防止过拟合,这也是xgboost优于传统GBDT的一个特性。

Shrinkage(缩减),相当于学习速率(xgboost中的eta)。

xgboost在进行完一次迭代后,会将叶子节点的权重乘上该系数,主要是为了削弱每棵树的影响,让后面有更大的学习空间。

实际应用中,一般把eta设置得小一点,然后迭代次数设置得大一点。

(补充:传统GBDT的实现也有学习速率) 列抽样(column subsampling)。

xgboost借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算,这也是xgboost异于传统gbdt的一个特性。

对缺失值的处理。

对于特征的值有缺失的样本,xgboost可以自动学习出它的分裂方向。

xgboost工具支持并行。

boosting不是一种串行的结构吗?怎么并行的?注意xgboost的并行不是tree粒度的并行,xgboost也是一次迭代完才能进行下一次迭代的(第t次迭代的代价函数里包含了前面t-1次迭代的预测值)。

xgboost的并行是在特征粒度上的。

我们知道,决策树的学习最耗时的一个步骤就是对特征的值进行排序(因为要确定最佳分割点),xgboost在训练之前,预先对数据进行了排序,然后保存为block结构,后面的迭代中重复地使用这个结构,大大减小计算量。

这个block结构也使得并行成为了可能,在进行节点的分裂时,需要计算每个特征的增益,最终选增益最大的那个特征去做分裂,那么各个特征的增益计算就可以开多线程进行。

可并行的近似直方图算法。

树节点在进行分裂时,我们需要计算每个特征的每个分割点对应的增益,即用贪心法枚举所有可能的分割点。

当数据无法一次载入内存或者在分布式情况下,贪心算法效率就会变得很低,所以xgboost还提出了一种可并行的近似直方图算法,用于高效地生成候选的分割点。

美国高防云服务器 1核 1G 10M 38元/月 百纵科技

百纵科技:美国云服务器活动重磅来袭,洛杉矶C3机房 带金盾高防,会员后台可自助管理防火墙,添加黑白名单 CC策略开启低中高.CPU全系列E52680v3 DDR4内存 三星固态盘列阵。另有高防清洗!百纵科技官网:https://www.baizon.cn/联系QQ:3005827206美国洛杉矶 CN2 云服务器CPU内存带宽数据盘防御价格活动活动地址1核1G10M10G10G38/月续费同价点击...

极光KVM美国美国洛杉矶元/极光kvmCN7月促销,美国CN2 GIA大带宽vps,洛杉矶联通CUVIP,14元/月起

极光KVM怎么样?极光KVM本月主打产品:美西CN2双向,1H1G100M,189/年!在美西CN2资源“一兆难求”的大环境下,CN2+大带宽 是很多用户的福音,也是商家实力的象征。目前,极光KVM在7月份的促销,7月促销,美国CN2 GIA大带宽vps,洛杉矶联通cuvip,14元/月起;香港CN2+BGP仅19元/月起,这次补货,机会,不要错过了。点击进入:极光KVM官方网站地址极光KVM七月...

€4.99/月Contabo云服务器,美国高性价比VPS/4核8G内存200G SSD存储

Contabo是一家运营了20多年的欧洲老牌主机商,之前主要是运营德国数据中心,Contabo在今年4月份增设新加坡数据中心,近期同时新增了美国纽约和西雅图数据中心。全球布局基本完成,目前可选的数据中心包括:德国本土、美国东部(纽约)、美国西部(西雅图)、美国中部(圣路易斯)和亚洲的新加坡数据中心。Contabo的之前国外主机测评网站有多次介绍,他们家的特点就是性价比高,而且这个高不是一般的高,是...

代价函数为你推荐
ata考试什么是ATA认证阶乘符号1~10的阶乘(!)分别是多少?代发邮件邮件代发会不会有短信代发那么好的市场效益呢?刷ip流量如何刷自己网站的IP流量comexceptionapro exception是什么意思全局钩子delphi 键盘全局钩子erp系统教程在一个公司里怎样去学ERP东兴证券网站东兴证券超强版下载多看论坛kindle哪个型号最好用idataparameterunsigned char idata是什么意思
com域名抢注 西安服务器 全球付 webhostingpad 12u机柜尺寸 好看的桌面背景大图 php探针 hnyd web服务器的架设 股票老左 阿里校园 佛山高防服务器 服务器硬件防火墙 太原联通测速 云营销系统 沈阳主机托管 服务器维护 中国电信网络测速 数据库空间 畅行云 更多