ML之FE：在特征工程/数据预处理阶段对【类别型】特征变量进行处理的技术总结、经验技巧、案例应用之详细攻略
2023-09-14 09:04:44 时间
ML之FE：在特征工程/数据预处理阶段对【类别型】特征变量进行处理的技术总结、经验技巧、案例应用之详细攻略
目录
在特征工程/数据预处理阶段对【类别型】特征变量进行处理
技术总结
1、统计每个【类别型】特征的子分类
from NDataScience.DataAnalysis import ColCats_Unique
ColCats_Unique(df_train)
bodyType [1.0 2.0 0.0 5.0 3.0 nan 6.0 7.0 4.0]
fuelType [0.0 1.0 nan 2.0 3.0 4.0 5.0 6.0]
gearbox [0.0 1.0 nan]
notRepairedDamage ['0.0' '-' '1.0']
2、统计每个【类别型】特征的多样性
from NDataScience.DataAnalysis import CountColCats2Xls
CountColCats2Xls(df_train,data_name)| model | counts | brand | counts | bodyType | counts | fuelType | counts | gearbox | counts | notRepairedDamage | counts |
| 0 | 11762 | 0 | 31480 | 0 | 41420 | 0 | 91656 | 0 | 111623 | 0.0 | 111361 |
| 19 | 9573 | 4 | 16737 | 1 | 35272 | 1 | 46991 | 1 | 32396 | - | 24324 |
| 4 | 8445 | 14 | 16089 | 2 | 30324 | 2 | 2212 | null | 5981 | 1.0 | 14315 |
| 1 | 6038 | 10 | 14249 | 3 | 13491 | 3 | 262 | null | 0 | ||
| 29 | 5186 | 1 | 13794 | 4 | 9609 | 4 | 118 | ||||
| 48 | 5052 | 6 | 10217 | 5 | 7607 | 5 | 45 | ||||
| 40 | 4502 | 9 | 7306 | 6 | 6482 | 6 | 36 | ||||
| 26 | 4496 | 5 | 4665 | 7 | 1289 | null | 8680 | ||||
| 8 | 4391 | 13 | 3817 | null | 4506 | ||||||
| 31 | 3827 | 11 | 2945 | ||||||||
| 13 | 3762 | 3 | 2461 |
经验技巧
更新中……
相关文章
- 【技术与商业案例解读笔记】095：Google大数据三驾马车笔记
- 从12大技巧、30个案例、99个模板谈怎么写标题
- ML之FE：在特征工程/数据预处理阶段对【数值型/数字型】特征变量进行处理的技术总结(类别化/特征分箱)、经验技巧、案例应用之详细攻略
- AI：大力出奇迹？Bigger is better？AI下一代浪潮？预训练大语言模型的简介(起源/目的/概述/技术基础/核心/影响/优缺点/未来趋势)、发展史、模型分类及其对比、案例应用之详细攻略
- NLP：自然语言处理技术的简介、领域方向-细分任务及其评估标准、发展历史、案例应用之详细攻略
- FE之DR之线性降维：PCA/白化、LDA算法的数学知识(协方差矩阵)、相关论文、算法骤、代码实现、案例应用等相关配图之详细攻略
- AI&BlockChain：“知名博主独家讲授”人工智能创新应用竞赛【精选实战作品】之《基于计算机视觉、自然语言处理和区块链技术的乘客智能报警系统》案例的界面简介、功能介绍分享之自然语言处理技术
- AI&BlockChain：“知名博主独家讲授”人工智能创新应用竞赛【精选实战作品】之《基于计算机视觉、自然语言处理和区块链技术的乘客智能报警系统》案例的界面简介、功能介绍分享之计算机视觉技术
- AI&BlockChain：“知名博主独家讲授”人工智能创新应用竞赛【精选实战作品】之《基于计算机视觉、自然语言处理、区块链和爬虫技术的智能会议系统》软件系统案例的界面简介、功能介绍分享之总篇
- AI&BlockChain：“知名博主独家讲授”人工智能创新应用竞赛【精选实战作品】之《基于计算机视觉、自然语言处理、区块链和爬虫技术的智能会议系统》软件系统案例的界面简介、功能介绍分享之一、会前智能
- AI之FL：联邦学习(Federated Learning，分布式机器学习技术)的分类详解(纵向联邦学习/横向联邦学习)、使用方法、实战案例之详细攻略
- DL之R-FCN：R-FCN算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
- ML之FE：在特征工程/数据预处理阶段对【数值型/数字型】特征变量进行处理的技术总结(类别化/特征分箱)、经验技巧、案例应用之详细攻略
- DL之DNN优化技术：DNN中抑制过拟合/欠拟合、提高泛化能力技术的简介、使用方法、案例应用详细攻略
- Py之interpret：interpret的简介、安装、案例应用之详细攻略
- MITRE ATLAS™ 人工智能系统的对抗性威胁全景——里面还有一些案例，可以参考，不过目前缺失防御技术