集成学习：以Bagging、Adaboosting为例
2024-09-27 00:48:01
集成学习是一大类模型融合策略和方法的统称，以下以bagging和boosting为例进行说明：
1、boosting
- boosting方法训练分类器采用串行的方式，每个弱分类器之间是相互依赖的，尤其后一个弱分类器是依赖于前一个分类器的分类结果而构建的
- 此方法的基本思想是在每一层训练时，对前一层基分类器分错的样本，基于更高的权重，测试时，根据各层分类器的结果加权得到最终结果，即boosting方法的中心思想是进行迭代学习。
2、bagging
- bagging采用并行的方式进行弱分类器的训练，各个弱分类器之间相互独立，对训练集采用又放回的抽样为每个弱分类器构建训练子集。
- 对于预测样本，采取投票表决的方式进行最后的分类。
以方差和偏差的角度来看待两个方法，集成学习的误差来源于偏差和方差之和，boosting基于逐步迭代聚焦于错分类的样本，减少集成学习的偏差，而bagging基于多个模型独立训练，利用多数表决以减少方差的方式来对集成模型进行优化。
如何解释bagging的减少方差和boosting的减少方差？
最新文章
- 《JavaScript权威指南》学习笔记 第七天 DOM操作
- mongodb 几个要注意的问题
- windows下的node-canvas历程
- HDU 4950 Monster （水题）
- lrzsz on linux
- 12天学好C语言——记录我的C语言学习之路（Day 9）
- CBQW ---分组表单展示
- MSSQL版本
- 【HDOJ】1508 Alphacode
- bzoj3039
- Vim常见快捷键汇总
- JavaScript 插件的书页翻转效果
- csdn我的blog成长轨迹(好吧我是闲的蛋疼)
- java 操作Excel表格
- Python_内置四种队列
- git知识总结-1.git基础之数据存储
- Python 解决 ：NameError: name 'reload' is not defined 问题
- django项目----函数和方法的区别
- ：迭代器模式1：Iterator
- 【学习笔记】--- 老男孩学Python，day10, 初识函数 形参、实参