模型融合---为什么说bagging是减少variance,而boosting是减少bias?
2024-09-02 07:47:39
1.bagging减少variance
Bagging对样本重采样,对每一重采样得到的子样本集训练一个模型,最后取平均。由于子样本集的相似性以及使用的是同种模型,因此各模型有近似相等的bias和variance(事实上,各模型的分布也近似相同,但不独立),所以bagging后的bias和单个子模型的接近,一般来说不能显著降低bias。
若各模型独立,则
若各模型完全相等,则
此时不会降低variance。bagging方法得到的各子模型是有一定相关性的,属于上面两个极端状况的中间态,因此可以一定程度降低variance。为了进一步降低variance,Random forest通过随机选取变量子集做拟合的方式de-correlated了各子模型(树),使得variance进一步降低。
2.boosting减少bias
boosting从优化角度来看,是用forward-stagewise这种贪心法去最小化损失函数。
例如,常见的AdaBoost即等价于用这种方法最小化exponential loss:。
所谓forward-stagewise,就是在迭代的第n步,求解新的子模型f(x)及步长a(或者叫组合系数),来最小化,这里是前n-1步得到的子模型的和。因此boosting是在sequential地最小化损失函数,其bias自然逐步下降。但由于是采取这种sequential、adaptive的策略,各子模型之间是强相关的,于是子模型之和并不能显著降低variance。所以说boosting主要还是靠降低bias来提升预测精度。
参考文献:
【1】知乎大佬回答
【2】Bagging与方差
最新文章
- UEFI+GPT安装windows
- 2-2 Linux 根文件系统详解
- UVA 10892 - LCM Cardinality(数学题)
- git 临时记录
- 改变传统的开单模式------手持POS终端移动销售开单 移动进销存的利器
- 中科大各Linux发行版的更新源列表
- 转】Apache解决高并发和高可用
- mac os 10.10 pod install errors
- HashMap早知道
- virtual hard disk
- 基于canvas图像处理的图片展示demo
- js实现checkbox全选与反选
- #event.initMouseEvent
- 使用 Struts2 校验器校验用户注册信息
- Linux命令学习-useradd和usermod
- 原型(Prototype)模式
- 测试BUG记录模板(供参考)
- error C4996: 'strcpy': This function or variable may be unsafe.
- python2到python3代码转化:2to3
- 手把手教新手小白在window把自己的项目上传到github