Gradient Boosting的重要代表有GBDT，它是通过不断改进估算来实现的，即逐次估值进行逼近

GBDT算法

Gradient Boosting的重要代表有GBDT，它是通过不断改进估算来实现的，下面以简单情况来描述其思路。

设训练集为 D = { x i , y i } i = 1 m D=\{\boldsymbol{x}_i,y_i\}_{i=1}^m D={xi​,yi​}i=1m​，其中，$y_i$为连续型，即为回归问题，对于二分类问题取$y_i$为属于正例的概率即可。

第0次估值（即初始化）：

• 数据集$D$中所有样本${\mathbf{x}}_i$：${\hat{y}}_i^0=\frac{1}{m}{\sum }_{i=1}^m{y}_i$（常数）。
• 推广到所有的$\mathbf{x}$：$F_0(\mathbf{x})=\frac{1}{m}{\sum }_{i=1}^m{y}_i$。
  这时，所有样本的预测值都是一样的，显然不靠谱，好在它只是个初始化。 数据集$D$中样本${\mathbf{x}}_i$的残差为： ${\epsilon }_i^1=y_i-{\hat{y}}_i^0$，形成数据集 D 1 = { x i , ε i 1 } i = 1 m D_1=\{\boldsymbol{x}_i,{\varepsilon}_i^1\}_{i=1}^m D1​={xi​,εi1​}i=1m​，在$D_1$上使用CART树【西瓜书第4.2.3节】进行回归，学习得到$h_1(\mathbf{x})$。

第1次估值：

• 对任意的$\mathbf{x}$：$F_1(\mathbf{x})=F_0(\mathbf{x})+h_1(\mathbf{x})$（对上次的估值用残差校正）。
• 数据集$D$中样本${\mathbf{x}}_i$：${\hat{y}}_i^1=F_1({\mathbf{x}}_i)$。

这时，数据集$D$中样本${\mathbf{x}}_i$的残差为： ${\epsilon }_i^2=y_i-{\hat{y}}_i^1$，形成数据集 D 2 = { x i , ε i 2 } i = 1 m D_2=\{\boldsymbol{x}_i,{\varepsilon}_i^2\}_{i=1}^m D2​={xi​,εi2​}i=1m​，在$D_2$上使用CART树学习得到$h_2(\mathbf{x})$。

第2次估值：

• 对任意的$\mathbf{x}$：$F_2(\mathbf{x})=F_1(\mathbf{x})+h_2(\mathbf{x})$（对上次的估值用残差校正）。
• 数据集$D$中样本${\mathbf{x}}_i$：${\hat{y}}_i^2=F_2({\mathbf{x}}_i)$。

这时，数据集$D$中样本${\mathbf{x}}_i$的残差为： ${\epsilon }_i^3=y_i-{\hat{y}}_i^2$，形成数据集 D 3 = { x i , ε i 3 } i = 1 m D_3=\{\boldsymbol{x}_i,{\varepsilon}_i^3\}_{i=1}^m D3​={xi​,εi3​}i=1m​，在$D_3$上使用CART树学习得到$h_3(\mathbf{x})$。

如此类推，得到递推公式
$$\begin{array}{r}{F}_{k+1}(\mathbf{x})=F_k(\mathbf{x})+h_{k+1}(\mathbf{x})\end{array}\text{\hspace{1em}(8.31)}$$
由此得到集成公式
$$\begin{array}{r}{F}_T(\mathbf{x})=F_0(\mathbf{x})+\sum _{i=1}^T{h}_i(\mathbf{x})\end{array}\text{\hspace{1em}(8.32)}$$

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：8.3 AdaBoost算法的详细推导
下一篇：8.5再谈投票法（硬投票，软投票）