【转载】 机器学习实战 - 读书笔记(07) - 利用AdaBoost元算法提高分类性能
2023-09-11 14:19:20 时间
原文地址:
https://www.cnblogs.com/steven-yang/p/5686473.html
-----------------------------------------------------------------------------------------------------------------
前言
最近在看Peter Harrington写的“机器学习实战”,这是我的学习笔记,这次是第7章 - 利用AdaBoost元算法提高分类性能。
这个思路称之为Adaboost算法,是对其它算法组合的一种方式。
我们可以看出弱算法是同类的算法,也就是说,它们是基于相同的算法,只不过参数不同。这样元算法在训练算法的步骤中就好容易控制。
注:也有其它的的元算法,可以针对不同算法的。
基本概念
- 元算法(meta-algorithm),是对其它算法组合的一种方式。也称为集成方法(ensemble method)。
- 弱算法:准确度较低的算法。元算法通过组合多个弱算法来提高准确率。
- 强算法:可以认为是组合后的算法。
- boosting : 是一种元算法,将多个弱算法变成强算法的算法族。除了AdsBoost,还有LPBoost, TotalBoost, BrownBoost, xgboost, MadaBoost, LogitBoost, and others.
- Adaboost : Adaptive Boosting的简称。一个具体的boosting算法。本章就是介绍这个算法。
详解Adaboost
说明:书中弱算法是一个单层决策树算法,返回的是一个二类分类结果(-1, 1)。所以书中Adaboost也是一个二类分类算法。
Adaboost训练算法
- 输入
- 样本数据
- 弱算法的数量
- 输出
- 一个弱算法数组(弱算法参数,弱算法权重
)
- 一个弱算法数组(弱算法参数,弱算法权重
- 逻辑
在一个迭代中(弱算法数量)
计算当前算法的参数
计算当前算法的错误率
计算当前算法的权重
计算下次样本数据的权重
计算当前的样本数据错误数,如果是0,退出。
解释:
假如有1000个sample,有100个sample被分错类,则:
可以看出错误的sample占的比例越小,下次的权重是二次方级数增大。
Adaboost分类算法
- 输入
- 分类数据
- 弱算法数组
- 输出
- 分类结果
- 逻辑
在一个迭代中(弱算法数量) 用当前弱算法计算分类结果$classified_i$ 计算强分类结果(使用下面的公式) 返回分类结果
AdaBoost分类器中计算公式
参考
- Machine Learning in Action by Peter Harrington
- Boosting (machine learning)
-------------------------------------------------------------------------------------
相关文章
- 【分布式系统工程实现】如何检测一台机器是否宕机?
- Coursera台大机器学习技法课程笔记12-Neural Network
- AMI:加密的机器映像。卷
- 机器学习&深度学习基础(tensorflow版本实现的算法概述0)
- 机器学习&深度学习基础(tensorflow版本实现的算法概述0)
- 【机器学习】 Matlab 2015a 自带机器学习算法汇总
- 机器学习笔记 - 矩阵乘法
- 机器学习笔记 - 模式识别的应用场景之一简单车牌识别
- 机器学习笔记 - 基于传统方法/深度学习的图像配准
- ML与Optimality:最优化理论(GD随机梯度下降/QN拟牛顿法/CG共轭梯度法/L-BFGS/TR置信域/GA遗传算法/SA模拟退火算法)在机器学习中的简介、常用方法、案例应用之详细攻略
- AI:人工智能领域算法思维导图集合之有监督学习/无监督学习/强化学习类型的具体算法简介(预测函数/优化目标/求解算法)、分类/回归/聚类/降维算法模型选择思路、11类机器学习算法详细分类之详细攻略
- ML之FE:机器学习算法/数据挖掘中特征选取(变量筛选)的简介、常用方法(单变量分析并筛选—Filter/Wrapper/Embedded、多变量间相关性分析并筛选—PCC/MIC/IV)之详细攻略
- Paper:《Hidden Technical Debt in Machine Learning Systems—机器学习系统中隐藏的技术债》翻译与解读
- ML:机器学习中与模型相关的一些常见的判断逻辑(根据自调整阈值计算阳性率)
- ML之回归预测:利用八(9-1)种机器学习算法对无人驾驶汽车参数(2017年的data,18+2)进行回归预测+评估八种模型性能
- 人工智能——机器学习与深度学习思维导图
- 机器学习案例(九):语言检测
- 机器学习(二十八):灰狼优化算法对神经网络的优化
- 机器学习中常用的分类算法总结
- 【阶段三】Python机器学习28篇:机器学习项目实战:KMeans算法的基本原理与KMeans聚类分群模型
- 机器学习:基本算法分类体系结构和文章汇总
- 机器学习——K-Means算法
- 【数据挖掘】2022年2023届秋招奇虎360机器学习算法工程师 笔试题
- 【机器学习】随机森林、AdaBoost、GBDT、XGBoost从零开始理解
- 机器学习十大算法!入门看这个就够了~