随机森林RF
2024-08-30 04:03:32
bagging
随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输 入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本 为那一类。
在建立每一棵决策树的过程中，有两点需要注意 - 采样与完全分裂。首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那 么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting。然后进行列采样，从M 个feature中，选择m个(m << M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一 个分类。一般很多的决策树算法都一个重要的步骤 - 剪枝，但是这里不这样干，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting。
按这种算法得到的随机森林中的每一棵都是很弱的，但是大家组合起来就很厉害了。我觉得可以这样比喻随机森林算法：每一棵决策树就是一个精通于某一个窄领域 的专家（因为我们从M个feature中选择m让每一棵决策树进行学习），这样在随机森林中就有了很多个精通不同领域的专家，对一个新的问题（新的输入数 据），可以用不同的角度去看待它，最终由各个专家，投票得到结果。
优点
- 在数据集上表现良好
- 在当前的很多数据集上，相对其他算法有着很大的优势
- 它能够处理很高维度（feature很多）的数据，并且不用做特征选择
- 在训练完后，它能够给出哪些feature比较重要
- 在创建随机森林的时候，对generlization error使用的是无偏估计
- 训练速度快
- 在训练过程中，能够检测到feature间的互相影响
- 容易做成并行化方法
- 实现比较简单
最新文章
- CSS中id与class命名规则及编码最佳习惯
- 建工财务搬家NC变更|rman各种测试|
- 使用 Time Machine 恢复 .ssh等隐藏文件夹
- Java---IO加强(1)
- Java集合之List
- Jquery 获取上传文件大小
- Spring IOC容器分析(3) -- DefaultListableBeanFactory
- ZPW-2000电气绝缘移频轨道电路
- Oracle 使用序列实现自增列 及重置序列
- 15 VScode 使用相关
- android bionic c 对比 gnu c
- 创建数据库，创建数据库表，例子。MySQL语句
- 20155320 2016-2017-2《Java程序设计》第八周学习总结
- [转] handsontable的核心方法
- java 发架包
- SharePoint 2013网站突然不能登录了。
- 好记性不如烂笔头-linux学习笔记5mysql主从复制
- 拆系数FFT(任意模数FFT)
- bootstrap世界探索1——山川河流（文字排版）
- 73.Vivado使用误区与进阶——在Vivado中实现ECO功能