【机器学习】面试问答:决策树如何进行剪枝?剪枝的方法有哪些?
2023-09-14 09:13:06 时间
决策树如何进行剪枝?
分为预剪枝和后剪枝。
预剪枝的思想是在树中结点进行扩展之前,先计算当前的划分是否带来模型泛化能力的提升,如果不能,则不再继续生长子树。预剪枝对何时停止决策树的生长有几种方法
- 当树达到一定深度时,停止树的生长
- 当达到当前结点的样本数量小于某个阈值的时候,停止树的生长
- 计算每次分裂时对测试机的准确率提升,当小于某个阈值的时候,不再继续扩展
后剪枝的思想是让算法生成一颗完全生长的决策树,然背后从最底层向上计算是否剪枝。剪枝过程将子树删除,用一个叶子结点替代。相比于预剪枝,后剪枝方法通常可以得到泛化能力更强的决策树,但时间开销更大。常见的后剪枝方法有
- 代价复杂度剪枝(CCP)
- 错误率降低剪枝(REP)
- 悲观剪枝(PEP)
- 最小误差剪枝(MEP)
- CVP(Critical Value Pruning)
- OPP(Optimal Pruning)
相关文章
- 机器学习笔记 - 模式识别之图像特征提取和特征选择的基本方法总结
- titit 切入一个领域的方法总结 attilax这里,机器学习为例子
- ML与Optimality:最优化理论(GD随机梯度下降/QN拟牛顿法/CG共轭梯度法/L-BFGS/TR置信域/GA遗传算法/SA模拟退火算法)在机器学习中的简介、常用方法、案例应用之详细攻略
- AI之AutoML:autogluon(可支持NAS自动机器学习工具)的简介、安装、使用方法之详细攻略
- ML之LiR:机器学习经典算法之线性回归算法LiR的简介、使用方法、经典案例之详细攻略
- ML之模型文件:机器学习、深度学习中常见的模型文件(.h5、.keras)简介、h5模型文件下载集锦、使用方法之详细攻略
- 跳出数据计算拯救人工智能之打败机器学习方法
- 【人工智能 AI】机器学习教程:如何降低模型损失?迭代方法与梯度下降方法
- 机器学习——评估方法
- DNS通道检测 国外学术界研究情况——研究方法:基于流量,使用机器学习分类算法居多,也有使用聚类算法的;此外使用域名zif low也有
- impala在centos机器安装的方法
- ML之ME:机器学习之风控业务中常用模型评估指标PSI(人群偏移度指标)的的简介、使用方法、案例应用之详细攻略