2022.47 AI中的算法与模型
最近工作中,发现不少人对AI中的算法和模型的概念分不清楚,导致思考沟通表达问题不准确,其实这两个概念还是有很大差别的。
AI中的算法,是指在已知样本数据基础上,按照预先设定的架构,由机器运行创建学习“模型”的过程。机器学习算法有以下特性:
- 可以用数学和伪代码来描述。
- 可以对算法的效率进行分析和描述。
- 可以用任何一种现代编程语言来实现。
常见的算法有很多。比如,非常基础和入门的算法:线性回归,K- 近邻算法,K- 均值算法,决策树等。
AI模型是指基于已有的数据集,运行机器学习算法,所得到的输出,可简单理解为通过算法学到的东西。比如说前面提到的线性回归算法的结果是一个由具有特定值的稀疏向量组成的模型。
可以把模型类比为程序,它能像人类编写的一般程序一样,输入数据后,经过一系列内部处理,给出结果,区别是它是机器生成(由人工编写的训练程序生成的)而非人类直接编写的程序。
人类在理解算法的基础上,编写训练模型的程序(简称训练程序),然后基于已有的数据集,训练学习生成模型,模型再根据输入的数据,预测产生结果。
训练程序一般情况下是实现了某一种训练算法,这个算法接受输入的数据,进行某些运算,运算的结果就形成了模型。训练程序运行的过程就叫做训练(学习),模型是训练程序的输出,是训练的结果。
![](https://img2022.cnblogs.com/blog/150046/202211/150046-20221119231831018-1981725614.png)
和普通程序一样,模型对输入输出的处理是静态的,给它们一个特定的输入,它们就会给出一个特定的输出,不会因之前已经处理了其他的数据而产生不同的输出。而训练程序对输入输出的处理是动态的,比如,用某个训练程序训练了包含2M样本的数据集Dataset_1,生成了一个模型b1之后,又获得了1M样本的数据集Dataset_2,可以有两种训练方式:
方式 i)用Dataset_2从头开始训练,可以获得模型b2;
方式 ii)将b1作为预训练模型,在它的基础上,用Dataset_2继续训练,获得模型b1’。
训练程序同样是处理Dataset_1+ Dataset_2共3M的样本数据,但因为具体的训练方式不同,输出的结果不同。b2仅具备从Dataset_2中学习到的知识;而b1’ 除了Dataset_2,还学习了Dataset_1中的知识——这一部分不是通过直接的训练,而是通过已经训练出来的b1间接得到的。相当于b1先学习了Dataset_1中蕴含的知识,再移交(transfer)给了b1’ ,这叫做迁移学习(Transfer Learning)。现在有很多开源模型库,如魔搭社区的开源模型库,就是方便AI应用者在解决自己特定场景问题时迁移学习,快速实现并优化应用的效果。
相关文章
- 【华为云技术分享】物体检测yolo3算法 学习笔记(1)
- Python实现的寻找前5个默尼森数算法示例
- EasyNVR智能云终端接入AI视频智能分析功能,用户可自定义接入自己的分析算法
- 简单易学的机器学习算法—基于密度的聚类算法DBSCAN
- AI面试-算法结构基础
- 分页查询算法实践
- 机器学习笔记 - 模拟退火算法
- AI:人工智能领域算法思维导图集合之有监督学习/无监督学习/强化学习类型的具体算法简介(预测函数/优化目标/求解算法)、分类/回归/聚类/降维算法模型选择思路、11类机器学习算法详细分类之详细攻略
- AI:模型蒸馏/知识蒸馏(Knowledge Distilling,KD)算法的简介、案例应用之详细攻略
- AI:人工智能领域算法思维导图集合之有监督学习/无监督学习/强化学习类型的具体算法简介(预测函数/优化目标/求解算法)、分类/回归/聚类/降维算法模型选择思路、11类机器学习算法详细分类之详细攻略
- CV之FR:基于某AI公司的API接口基于人脸识别实现计算人脸相似度(计算两张人脸图片相似度进而判断否为同一个人)—利用人工智能算法判断相似度极高的国内外明星案例应用
- Interview:算法岗位面试—上海某科技公司算法岗位(偏AI算法,国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等
- AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟
- 昇腾携手OpenMMLab,支持海量算法仓库的昇腾AI推理部署
- 又一重要进展发布!OpenMMLab算法仓支持昇腾AI训练加速
- 华为云MVP高浩:打破AI开发瓶颈,解决数据、算法、算力三大难题
- 基于LBP人脸特征提取算法的人员身份信息验证matlab仿真
- 通过扩频和DCT变换算法将图像水印嵌入到音频信号中并提取水印matlab仿真
- m基于多核学习支持向量机MKLSVM的数据预测分类算法matlab仿真
- AI模型C++部署:ubuntu安装Cython并使用C/C++调用python动态库【附加c++与python互相调用算法demo程序接口的源码】
- 素数推断算法(高效率)
- 使用Kestrel 安全分析进行威胁狩猎篇之二——如何利用AI算法分析和情报查询
- DFS 算法模板——二叉树的遍历非递归写法要会,排列组合的一定要自己画一颗树,变量i和当前遍历层数计数的start_index要注意区分
- AI+无线通信总结——初赛算法实现(Top37)
- 【使用 BERT 的问答系统】第 4 章 :BERT 算法详解
- AI算法从业人员饱和了吗?学AI找工作难?
- YOLO系列(YOLOv5/YOLOv7/YOLOv8)算法训练数据集保姆级教程
- 解决安装AI算法库TensorFlow 2.0的最新入坑指南以及详细的安装教程【分别在linux和windows系统下安装】