微软开源用于Spark的深度学习库MMLSpark
2023-03-09 22:29:36 时间
微软开源了MMLSpark,用于Apache Spark的的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。
微软发现,虽然SparkML可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的重复性工作。
以UCI的成人收入普查数据集举例,使用其他项目预测收入:
如果直接使用SparkML,每一列都需要单独处理,整理为正确的数据类型;在MMLSpark中只需要两行代码:
- model = mmlspark.TrainClassifier(model=LogisticRegression(), labelCol=” income”).fit(trainData)
- predictions = model.transform(testData)
深度神经网络(DNN)在图像识别和语音识别等领域不逊于人类,但是DNN模型的训练需要专业人员方可进行,与SparkML的整合也十分不易。MMLSpark提供了方便的Python API,可以方便地训练DNN算法。MMLSpark可以方便地使用现有模型进行分类任务、在分布式GPU节点上进行训练、以及使用OpenCV建立可扩展的图像处理管线。
以下3行代码可以从微软认知工具集中初始化一个DNN模型,从图像中抽取特征:
- cntkModel = CNTKModel().setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”)
- featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’])
- model = TrainClassifier(model=LogisticRegression(),labelCol=”labels”).fit(featurizedImages)
MMLSpark已经发布到Docker Hub上,使用下面的命令即可在单机部署:
- docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark
MMLSpark使用MIT协议授权。
相关文章
- 腾讯企业邮箱免费域名怎么获取
- 阿里云ECS上尝鲜体验使用
- 阿里云如何申请免费企业邮箱
- AIOT实践案例|阿里云产品内容精选(二十)
- 微软证实近期例行更新后Windows Server计算机反而更不安全
- 微软放大招了!Windows 11 Build 22557新版详细体验
- 新华三信息安全与阿里云达成战略合作 联手构建云上云下一张网
- 如何打造渐进式可扩展、高生产力的前端研发平台
- OpenHarmony啃论文成长计划—综述视角解读压缩编码
- 网关架构图(基于阿里云原生)
- 机器学习基础实践教学开发 | 开发者社区精选文章合集(十九)
- Windows 11之后还有新版本?消息称微软将开发Windows 12,需要两个TPM认证
- 性能提升4倍 内存占用率暴降!Windows 11改进细节:UI响应速度最高提升76%
- Windows 11任务管理器“效率模式”的一些有趣细节
- 微软 Windows 11 预览版 Snap 多任务体验:新的视觉 UI 和动画改进
- 实用经典功能回归!Windows 11文件管理器迎来大改
- 不符合条件Windows 10设备升Windows 11:微软这手段着实不爽在桌面打水印
- Windows 11加入多项新功能:“快速访问”能固定文件了
- 阿里云-云开发平台入门篇——静态网站的全生命周期实战
- 这些新功能让Windows 11文件管理器更好用了