代价函数机器学习算法中GBDT和XGBOOST的区别有哪些

代价函数  时间:2021-06-26  阅读:()

为什么线性回归的代价函数总是凸函数

凸函数是一个定义在某个向量空间的凸子集C(区间)上的实值函数f设f为定义在区间I上的函数,若对I上的任意两点X1,X2和任意的实数λ∈(0,1),总有f(λx1+(1-λ)x2)≤λf(x1)+(1-λ)f(x2),则f称为I上的凸函数.凹函数小于等于号改为大于等于号。

xgboost为什么对代价函数用二阶泰勒展开

因为这样做可以很清楚地理解整个目标,并且一步一步推导出如何进行树的学习。

传统的GBDT大家可以理解如优化平法残差,但是这样一个形式包含可所有可以求导的目标函数。

也就是说有了这个形式,写出来的代码可以用来求解包括回归,分类和排序的各种问题,正式的推导可以使得机器学习的工具更加一般。

简答说一说吧:实际上使用二阶泰勒展开是为了xgboost能够【自定义loss function】,如果按照最小二乘法的损失函数直接推导,同样能够得到陈佬最终的推导式子: 二阶泰勒展开实际不是 ?最小二乘法,平方损失函数的二阶泰勒展开=最小二乘法。

但陈佬为何想用二阶泰勒展开呢,猜是为了xgboost库的可扩展性,因为任何损失函数只要二阶可导即能【复用】陈佬所做的关于最小二乘法的任何推导。

而且泰勒的本质是尽量去模仿一个函数,猜二阶泰勒展开已经足以近似大量损失函数了,典型的还有基于分类的对数似然损失函数。

嘿,这样同一套代码就能完成回归或者分类了,而不是每次都推导一番,重写训练代码。

扩展资料: 泰勒以微积分学中将函数展开成无穷级数的定理著称于世。

这条定理大致可以叙述为:函数在一个点的邻域内的值可以用函数在该点的值及各阶导数值组成的无穷级数表示出来。

然而,在半个世纪里,数学家们并没有认识到泰勒定理的重大价值。

这一重大价值是后来由拉格朗日发现的,他把这一定理刻画为微积分的基本定理。

泰勒定理的严格证明是在定理诞生一个世纪之后,由柯西给出的。

泰勒定理开创了有限差分理论,使任何单变量函数都可展成幂级数;同时亦使泰勒成了有限差分理论的奠基者。

泰勒于书中还讨论了微积分对一系列物理问题之应用。

其中以有关弦的横向振动之结果尤为重要。

他透过求解方程导出了基本频率公式,开创了研究弦振问题之先河。

此外,此书还包括了他于数学上之其他创造性工作,如论述常微分方程的奇异解,曲率问题之研究等。

参考资料来源:百度百科-代价函数 参考资料来源:百度百科-泰勒公式

如何理解机器学习中的代价曲线

机器学习通俗的说,就是用简单粗暴的方法来发现事物内在的联系。

比如我想做手势识别,我需要一个函数,函数的输入是手势数据,输出是不同手势的类型。

我需要用各种手势数据来训练这个函数,使这个函数能有正确的输出。

机器学习算法中GBDT和XGBOOST的区别有哪些

传统GBDT以CART作为基分类器,xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。

传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数。

顺便提一下,xgboost工具支持自定义代价函数,只要函数可一阶和二阶求导。

xgboost在代价函数里加入了正则项,用于控制模型的复杂度。

正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。

从Bias-variance tradeoff角度来讲,正则项降低了模型的variance,使学习出来的模型更加简单,防止过拟合,这也是xgboost优于传统GBDT的一个特性。

Shrinkage(缩减),相当于学习速率(xgboost中的eta)。

xgboost在进行完一次迭代后,会将叶子节点的权重乘上该系数,主要是为了削弱每棵树的影响,让后面有更大的学习空间。

实际应用中,一般把eta设置得小一点,然后迭代次数设置得大一点。

(补充:传统GBDT的实现也有学习速率) 列抽样(column subsampling)。

xgboost借鉴了随机森林的做法,支持列抽样,不仅能降低过拟合,还能减少计算,这也是xgboost异于传统gbdt的一个特性。

对缺失值的处理。

对于特征的值有缺失的样本,xgboost可以自动学习出它的分裂方向。

xgboost工具支持并行。

boosting不是一种串行的结构吗?怎么并行的?注意xgboost的并行不是tree粒度的并行,xgboost也是一次迭代完才能进行下一次迭代的(第t次迭代的代价函数里包含了前面t-1次迭代的预测值)。

xgboost的并行是在特征粒度上的。

我们知道,决策树的学习最耗时的一个步骤就是对特征的值进行排序(因为要确定最佳分割点),xgboost在训练之前,预先对数据进行了排序,然后保存为block结构,后面的迭代中重复地使用这个结构,大大减小计算量。

这个block结构也使得并行成为了可能,在进行节点的分裂时,需要计算每个特征的增益,最终选增益最大的那个特征去做分裂,那么各个特征的增益计算就可以开多线程进行。

可并行的近似直方图算法。

树节点在进行分裂时,我们需要计算每个特征的每个分割点对应的增益,即用贪心法枚举所有可能的分割点。

当数据无法一次载入内存或者在分布式情况下,贪心算法效率就会变得很低,所以xgboost还提出了一种可并行的近似直方图算法,用于高效地生成候选的分割点。

日本CN2独立物理服务器 E3 1230 16G 20M 500元/月 提速啦

提速啦的来历提速啦是 网站 本着“良心 便宜 稳定”的初衷 为小白用户避免被坑 由赣州王成璟网络科技有限公司旗下赣州提速啦网络科技有限公司运营 投资1000万人民币 在美国Cera 香港CTG 香港Cera 国内 杭州 宿迁 浙江 赣州 南昌 大连 辽宁 扬州 等地区建立数据中心 正规持有IDC ISP CDN 云牌照 公司。公司购买产品支持3天内退款 超过3天步退款政策。提速啦的市场定位提速啦主...

【IT狗】在线ping,在线tcping,路由追踪

IT狗为用户提供 在线ping、在线tcping、在线路由追踪、域名被墙检测、域名被污染检测 等实用工具。【工具地址】https://www.itdog.cn/【工具特色】1、目前同类网站中,在线ping 仅支持1次或少量次数的测试,无法客观的展现目标服务器一段时间的网络状况,IT狗Ping工具可持续的进行一段时间的ping测试,并生成更为直观的网络质量柱状图,让用户更容易掌握服务器在各地区、各线...

spinservers春节优惠:$149/月10Gbps圣何塞服务器-2*E5-2630Lv3 CPU,256G内存,2*1.6T SSD硬盘

spinservers是Majestic Hosting Solutions LLC旗下站点,商家提供国外服务器租用和Hybrid Dedicated等产品,数据中心包括美国达拉斯和圣何塞机房,机器默认10Gbps端口带宽,高配置硬件,支持使用PayPal、信用卡、支付宝或者微信等付款方式。农历春节之际,商家推出了几款特别促销配置,最低双路E5-2630Lv3机器每月149美元起,下面列出几款机器...

代价函数为你推荐
win7中文语言包windows7怎样汉化pps官网pps官方网站下载pps官方正式版下载网站webservice框架WebService新手,请教WebService需要什么包qq管家官网在qq电脑管家官网有个可以登录qq的。登录上了可以加速么?云办公平台什么叫云办公啊?谁能通俗的给我讲下网站客服代码请问怎么在网页里面加入在线客服系统的代码,代码要怎么获得?erp系统教程ERP系统怎么使用泛微协同办公系统泛微oa怎么样?我想了解一下,有用过的同仁帮忙!发表下自己的观点(天津)云家政网腾讯网的网址是多少?微盟价格微盟现在怎么样?
fc2最新域名 高防服务器租用qy 2019年感恩节 132邮箱 联通c套餐 狗爹 域名优惠码 美国独立日 环聊 shuang12 浙江服务器 lamp是什么意思 免费蓝钻 阵亡将士纪念日 SmartAXMT800 magento主机 赵荣 海尔t68g kosskeb79 sockscap怎么用 更多