集成学习基础知识总结-Bagging-Boosting
2024-08-24 20:31:09
理论
在概率近似正确(（probably approximately correct)学习框架下。一个概念是强可学习的充分必要条件是这个概念是弱可学习(仅比随机猜测稍好)。
要求
个体学习器要好而不同。好-要不随机猜测强，不同--多样性。
Bagging (Bootstrap Aggregating):随机森林
通过bootstrap采样形成N个数据集(样本扰动来保证多样性)，每个数据集训练一个模型，最终预测结果由投票法决定。
特点：
- boostrap采样。
- 并行结构。
- 大多数投票决定最终结果。
随机森林的特点：
CART树的集合。
Binary Partition。
没有剪枝。
两个随机性。
stacking:带权重的bagging
Boosting: H(x) = sign(∑αi hi(x))
先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器如此重复进行，直至基学习器数目达到事先指定的值T ， 最终将这T 个基学习器进行加权结合.
特点：
- 关注降低偏差。
- 分类器串行生成。
- 训练样本有权重(调整权重等价于调整分布)。
- 输出结果通过加权结合(weighted voting)
AdaBoost: Adaptive Boosting，权重自适应
特点：
- 提高那些被前一轮弱分类器错误分类样本的权值，降低那些被正确分类样本的权值(训练样本分布调整方式)。
- 加权多数表决，加大分类误差率小的弱分类器的权值，使其 在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在 表决中起较小的作用。(加权结合方式).
梯度提升树(Gradient Boosting Decison Tree, GBDT;Gradient Boosting Tree)
特点：
- 采用CART树为基学习器。
- 提升树采用前向分步算法：从前向后，每一步只学习一个基函数及其系数，逐步逼近目标函数式。
- 用损失函数的负梯度作为残差的估计值。
XGBoost
特点：
- 正则化项防止过拟合。
- XGBoost使用了一阶和二阶偏导, 二阶导数有利于梯度下降的更快更准。
最新文章
- java.lang.NoSuchMethodError: org.apache.tomcat.util.res.StringManager.getManager(Ljava/lang/Class;)Lorg/apache/tomcat/util/res/StringManager
- 解决SmartGit序列号问题
- List接口方法使用（PS：Java 编程思想阅读小结）
- Mac MySQL 转移 datadir
- HashSet源码详解
- poj1190
- WordCount示例深度学习MapReduce过程（1）
- 无密码通过ssh执行rsync
- CSS让div背景透明
- 用CSS3写的小案例-图片缩放隐藏内容显示
- Qt数据库sqlite总结
- delegate 中的BeginInvoke和EndInvoke方法
- android对app代码混淆
- 乐卡上海网点地图制作心得 | 百度地图API使用心得
- Java消息服务初步学习（基于Spring In Action的整理）
- kbmmw 5.08 正式发布
- PHP拿到接口数据返回的json以及传参-----ajax 跨域请求 ---
- lambda 匿名函数
- svn eclipse链接
- html5-表单属性及<!DOCTYPE> 标签