GBDT-梯度提升树
2024-09-23 06:07:22
随机森林：bagging思想，可以并行，训练集权值相同
可以是分类树，回归树
输出结果（分类树）：多数投票 （回归树）：均值
减少方差
对异常数据不敏感
GBDT：拟合损失函数
boosting思想，只能串行，训练集权值不同
以CART为基学习器
只能是回归树
输出结果：所有结果的累加或是加权累加
减少偏差
对异常数据敏感
boosting tree: 减少上一次的残差
将预测结果的差值作为新的训练数据
损失函数为平方损失或者指数损失
gradient boosting：消除残差，在残差减少的梯度方向上建立新模型
将预测结果带入梯度中求出新的训练数据
各类损失函数
GBDT分类：指数损失函数，此时GBDT退化为Adaboost算法
对数似然损失函数，类别的预测概率值和真实概率值的差来拟合损失
GBDT回归：均方差损失函数
绝对损失
Huber损失
分位数损失
GBDT正则化：增加步长
采样比例
最新文章
- 疯狂Android讲义 - 学习笔记（八）
- android视频播放器
- cmd导入导出
- Java线程池使用说明
- Media Queries详解
- JS插件之——bootstrap-suggest.js
- 基于MVC4+EasyUI的Web开发框架形成之旅--基类控制器CRUD的操作
- MySQL重构查询的方式
- Android特效 五种Toast详解
- KEIL MDK环境下uCOS-II在LPC17xx上的移植实例
- python之面向对象那点事
- dfs手写栈模板
- java系列--集合
- maven项目引入sqljdbc4 找不到包的完美 解决方案。
- Nginx配置特定二级域名
- javascript xml字符串转为json对象
- C++中字符编码的转换(Unicode、UTF-8、ANSI)
- 如何优雅打印nginx header和body
- 【C++ Primer 第10章】 10.4.1 插入迭代器
- JDBC MVC框架实现用户登录