机器学习(六):模型评估
2023-06-13 09:18:39 时间
模型评估
模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。
按照数据集的目标值不同,可以把模型评估分为分类模型评估和回归模型评估。
一、分类模型评估
- 准确率:预测正确的数占样本总数的比例。
- 其他评价指标:精确率、召回率、F1-score、AUC指标等
二、 回归模型评估
均方根误差(Root Mean Squared Error,RMSE)
- RMSE是一个衡量回归模型误差率的常用公式。 不过,它仅能比较误差是相同单位的模型。
a 为真实值;p 为预测值
举例:
假设上面的房价预测,只有五个样本,对应的
真实值为:100,120,125,230,400
预测值为:105,119,120,230,410
那么使用均方根误差求解得:
其他评价指标:
- 相对平方误差(Relative Squared Error,RSE)
- 平均绝对误差(Mean Absolute Error,MAE)
- 相对绝对误差(Relative Absolute Error,RAE)
三、拟合
模型评估用于评价训练好的的模型的表现效果,其表现效果大致可以分为两类:过拟合、欠拟合。
在训练过程中,你可能会遇到如下问题:
训练数据训练的很好啊,误差也不大,为什么在测试集上面有问题呢?
当算法在某个数据集当中出现这种情况,可能就出现了拟合问题。
1、欠拟合
因为机器学习到的天鹅特征太少了,导致区分标准太粗糙,不能准确识别出天鹅。
欠拟合(under-fitting):模型学习的太过粗糙,连训练集中的样本数据特征关系都没有学出来。
2、过拟合
机器已经基本能区别天鹅和其他动物了。然后,很不巧已有的天鹅图片全是白天鹅的,于是机器经过学习后,会认为天鹅的羽毛都是白的,以后看到羽毛是黑的天鹅就会认为那不是天鹅。
过拟合(over-fitting):所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越,导致在测试数据集中表现不佳。
相关文章
- 机器学习十大经典算法之AdaBoost
- 7 Papers & Radios | 联邦图机器学习综述;基于知识图谱和分子图的药物筛选模型
- 机器学习笔记,统计模型觉得难,不妨来看点概念吧
- A股市场机器学习多因子模型实证
- 机器学习:应用和设计模型
- 机器学习–朴素贝叶斯模型原理
- WASM和机器学习
- 【Python专栏】机器学习和深度学习知识框架
- [译文]迭代机器学习:迈向模型准确性的一步
- 机器学习Hello World:波士顿房价预测(线性回归模型)
- 机器学习:如何解决类别不平衡问题
- 数据挖掘机器学习[五]---汽车交易价格预测详细版本{模型融合(Stacking、Blending、Bagging和Boosting)}
- 江泽民08年发表论文提出:未来智能化、机器学习会大有作为、需加大GPU技术的研究
- 机器学习和临床预测模型公开课全文及回放
- 30行代码用streamlit构建你的机器学习模型应用
- AI入门| 微软ATP带你认识“机器学习”模型分类
- 为机器学习模型设置最佳阈值:0.5是二元分类的最佳阈值吗
- 原创 | 机器学习在分子动力学领域顶会论文初探
- 机器学习模型以出色的精度进行有机反应机理分类
- 倒计时一天,机器之心AI科技年会硬核干货已就位
- AI落地之难:大多数机器学习模型没有投入生产|QCon
- 27场机器学习面试后,来划个概念重点吧
- 选择机器学习模型,要注意这 7 个问题
- 7000 字精华总结,Pandas/Sklearn 进行机器学习之特征筛选,有效提升模型性能
- Python用机器学习算法进行因果推断与增量、增益模型Uplift Modeling智能营销模型|附代码数据