CART、GradientBoost

CART（Classification And Regression Trees）—分类回归树:

t代表树的某个节点，t中的样本集合为：{（X1,y1），（X2,y2），...}，N(t)是节点t中的样本个数。节点t的应变量是实数（回归树），节点t的应变量的均值：

节点t内的平方残差最小化：

属性F将t划分成左右节点t_L和t_R：

能最大化上式的就是最佳的属性划分：

CART_回归树算法步骤是：

一般Boosting算法都是一个迭代的过程，每一次新的训练都是为了改进上一次的结果：

GradientBoost其实是一个框架，里面可以套入很多不同的算法。每一次的计算都是为了减少上一次的残差，为了消除残差，我们可以在残差减少的梯度方向建立一个新的模型，所以说，每一个新模型的建立都为了使得之前的模型残差向梯度方向上减少。它用来优化loss function有很多种。

GradientBoost通用框架：

我们的目标是在样本空间上找到最优预测函数F^*(x)，使x映射到y的损失函数L(y,F(x))达到最小，即：

损失函数的形式为平方误差：

巴特西