【项目实战】Python实现Catboost回归模型(CatBoostRegressor算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取。
![]()
1.项目背景
CatBoost是一种基于对称决策树(oblivious trees)为基学习器实现的参数较少、支持类别型变量和高准确性的GBDT框架,主要解决的痛点是高效合理地处理类别型特征,这一点从它的名字中可以看出来,CatBoost是由Categorical和Boosting组成。此外,CatBoost还解决了梯度偏差(Gradient Bias)以及预测偏移(Prediction shift)的问题,从而减少过拟合的发生,进而提高算法的准确性和泛化能力。本文使用CatBoostRegressor来解决回归问题。
2.数据获取
本次建模数据来源于网络(本项目撰写人整理而成),数据项统计如下:
数据详情如下(部分展示):
3.数据预处理
3.1 用Pandas工具查看数据
使用Pandas工具的head()方法查看前五行数据:
从上图可以看到,总共有14个字段:参与机器学习的变量13个,其中id只是一个编号,建模时我们要去掉它。
关键代码:
3.2缺失值统计
使用Pandas工具的info()方法统计每个特征缺失情况:
从上图可以看到,数据不存在缺失值,总数据量为2400条。
关键代码:
3.3变量描述性统计分析
通过Pandas工具的describe()方法来来统计变量的平均值、标准差、最大值、最小值、分位数等信息:
关键代码如下:
4.探索性数据分析
4.1 spacegroup特征分布分析
用Pandas工具的value_counts().plot()方法进行统计绘图,输出结果如下:
图形化展示如下:
从上面两个图中可以看到,分类为206的有490条,分类为33的有432条。
4.2 number_of_total_atoms特征分布分析
从上面两个图中可以看到,分类为80的有1410条,分类为40的有519条。
4.3 相关性分析
通过Pandas工具的corr()方法和seaborn工具的heatmap()方法绘制相关性热力图:
从图中可以看到,正数为正相关,负数为负相关,绝对值越大相关性越强。
4.4 变量的相关关系
从图中可以看到,变量percent_atom_al和变量bandgap_energy_ev呈线性关系。
4.5 bandgap_energy_ev变量直方图
通过Matplotlib工具的hist()方法绘制直方图:
从上图可以看到bandgap_energy_ev变量数据存在右偏现象。
5.特征工程
5.1 建立特征数据和标签数据
bandgap_energy_ev为标签数据,除 id和bandgap_energy_ev之外的为特征数据。关键代码如下:
5.2 数据集拆分
数据集集拆分,分为训练集和测试集,80%训练集和20%测试集。关键代码如下:
6.构建CatBoost回归模型
主要使用CatBoostRegressor算法,用于目标回归。
6.1模型参数
关键代码如下:
7.模型评估
7.1评估指标及结果
评估指标主要包括可解释方差值、平均绝对误差、均方误差、R方值等等。
从上表可以看出,R方为93% 可解释方差值为93%,CatBoost回归模型比较优秀,效果非常好。
关键代码如下:
7.2 模型特征重要性
特征重要性绘图展示:
从上图可以看到特征变量对此模型的重要性依次为:
![]()
7.3 真实值与预测值对比图
从上图可以看出真实值和预测值波动基本一致,模型拟合效果非常棒。
8.结论与展望
综上所述,本文采用了CatBoost回归模型,最终证明了我们提出的模型效果良好。
本次机器学习项目实战所需的资料,项目资源如下:
项目说明:
链接:https://pan.baidu.com/s/1dW3S1a6KGdUHK90W-lmA4w
提取码:bcbp
网盘如果失效,可以添加博主微信:zy10178083
相关文章
- python数据分析源码_python 统计分析
- pycharm自带python环境吗_Python IDE环境之 新版Pycharm安装详细教程[通俗易懂]
- python skitlearn_Python sklearn
- pycharm打包python项目_Python怎么打包
- pycharm配置python运行环境_C中调用Python
- Python <算法思想集结>之抽丝剥茧聊动态规划
- python fileinput_Python之fileinput模块学习「建议收藏」
- python安装不了whl文件_Python安装whl文件过程图解
- 简述python变量的命名规则_Python 变量命名规则
- 10 种机器学习算法的要点(附 Python 和 R 代码)「建议收藏」
- python语言一般用于什么_PYthon
- 【说站】python元组有哪些获取元素的方法
- 【说站】python字典如何遍历数据
- 【说站】python print的多种使用
- Python冒泡排序算法及其优化「建议收藏」
- loadworkbook Python_load with
- 使用Python对Excel数据进行排序,更高效!
- Python 实现 WebSocket 通信
- Python获取磁盘、文件夹大小信息(附邮件发送)(二)
- python-Python与MongoDB数据库-处理MongoDB查询结果
- Redis-Python交互详解数据库
- Python学习:1.快速搭建python环境详解编程语言
- Python驱动Oracle数据库(python操作oracle)
- 下的应用玩转Python:Linux下的Python应用之旅(python在linux)
- Python脚本实现Linux命令快捷控制(python执行linux命令)
- 在Linux上安装Python学习快乐(linux下载python)
- python编程-将Python程序转化为可执行程序[整理]
- 基于python发送邮件的乱码问题的解决办法
- 朴素贝叶斯算法的python实现方法