机器学习(四):机器学习工作流程
2023-03-07 09:09:54 时间
机器学习工作流程
一、什么是机器学习
机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。
二、机器学习工作流程
机器学习工作流程总结:
- 1.获取数据
- 2.数据基本处理
- 3.特征工程
- 4.机器学习(模型训练)
- 5.模型评估 - 结果达到要求,上线服务 - 没有达到要求,重新上面步骤
1、获取到的数据集介绍
数据简介
- 在数据集中一般:
- 一行数据我们称为一个样本
- 一列数据我们成为一个特征
- 有些数据有目标值(标签值),有些数据没有目标值(如上表中,电影类型就是这个数据集的目标值)
- 数据类型构成:
- 数据类型一:特征值+目标值(目标值是连续的和离散的)
- 数据类型二:只有特征值,没有目标值
- 数据分割:
- 机器学习一般的数据集会划分为两个部分: - 训练数据:用于训练,构建模型 - 测试数据:在模型检验时使用,用于评估模型是否有效
- 划分比例: - 训练集:70% 80% 75% - 测试集:30% 20% 25%
2、数据基本处理
即对数据进行缺失值、去除异常值等处理。
3、特征工程
3.1、什么是特征工程
特征工程(Feature Engineering)是使用专业背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。
- 意义:会直接影响机器学习的效果
3.2、为什么需要特征工程
机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. ” 注:业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。
3.3 特征工程包含内容
- 特征提取
- 特征预处理
- 特征降维
3.4 特征工程类别介绍
- 特征提取
- 将任意数据(如文本或图像)转换为可用于机器学习的数字特征
特征预处理
- 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
特征降维
- 指在某些限定条件下,降低随机变量(特征)个数,得到一组“不相关”主变量的过程
4、机器学习
选择合适的算法对模型进行训练。
5、模型评估
对训练好的模型进行评估。
相关文章
- 微软发布免费 Windows 11 22H2 开发环境虚拟机,可用至明年1月10日
- 开发者立功,微软 Surface Duo 2 现已实现 Win11 初始支持
- Linux Lite 6.2 发布
- 基于 Windows 11 底层开发内核,微软 Windows Server VNext 预览版 25236 发布(附 ISO 镜像下载)
- 微软发布 Windows 11 Dev 预览版 Build 25236 更新,带来多项问题修复
- 微软 PowerToys 更新,可帮你找出 Windows 11 / Windows 10 上哪些进程正在占用该文件
- 使用Zadig从0到1搭建持续交付平台
- 微软 Windows 11 任务管理器终于要有搜索栏了
- 微软 Edge 浏览器增强 Windows 11/10、Mac 和安卓之间共享文件功能:“Drop”整合屏幕截图
- 英伟达承认驱动导致 Windows 11 任务管理器 GPU 使用率 100% 误报问题
- 通过示例来学习 Bash base64 的编码和解码
- 微软承认周二更新会导致 Windows 10 OneDrive 出错
- Windows 11 Dev 预览版 25231 新功能:可通过 Wi-Fi 面板直接打开并连接到手机热点
- 微软 Windows 11 Beta 预览版 22623.875(KB5018486)发布
- [GN+Ninja学习 0x05] GN编写规范
- 微软 Windows 11 22H2 新 Bug:任务管理器中英伟达 GPU 数值“颠倒”了
- 微软 Windows 开发套件 2023 发布:搭载骁龙 8cx Gen 3,约 4300 元
- 微软 Windows 11 22H2 终于有了标签式文件资源管理器,但存在一些明显 Bug
- 微软 Windows 11安卓子系统 WSA v1 正式版推出:面向 31 个国家 / 地区,支持超 5 万个 App
- OpenHarmony羊了个羊复刻学习