3 分钟学会调用 Apache Spark MLlib KMeans
2023-09-27 14:27:00 时间
Apache Spark MLlib是Apache Spark体系中重要的一块拼图:提供了机器学习的模块。只是,眼下对此网上介绍的文章不是非常多。拿KMeans来说,网上有些文章提供了一些演示样例程序,而这些程序基本和Apache Spark 官网上的程序片断类似:在得到训练模型后,差点儿都没有展示怎样使用该模型、程序运行流程、结果展示以及举例測试数据等部分。
笔者依据Apache Spark官网上的程序片断。写了一个完整的调用MLlib KMeans库的測试程序,并成功在Spark 1.0 + Yarn 2.2 的环境上运行。因为仅为高速体验目的。本程序里面的非常多细节并未被打磨,但相信已可为对Spark MLlib感兴趣的朋友们提供些许入门级帮助。
[A. 程序主要部分]
[B. 測试数据]
[C. 运行]
利用 ${SPARK_HOME}/bin/spark-submit 将程序提交给Yarn去运行。
[D. 结果]
- Console 返回的结果(最后几行):
- Yarn Web Console返回的运行结果:
- Yarn Log 中显示 Scala 程序的Output:
[E. 总结]
- 利用MLlib KMeans 训练出来的 Model(KMeansModel),能够方便地对新的数据作出分类预測
相关文章
- APACHE服务器500错误解决方法
- Apache Spark Delta Lake 写数据使用及实现原理代码解析(转载)
- Apache Druid 简介
- TensorFlow 与 Apache Spark 结合:雅虎开源“TensorFlowOnSpark”
- 大火的Apache Spark也有诸多不完美
- Apache Oltu 实现 OAuth2.0 服务端【授权码模式(Authorization Code)】
- Apache CarbonData的Update/Delete功能设计实现
- 《Spark与Hadoop大数据分析》——第2章 Apache Hadoop和Apache Spark入门
- 《Spark与Hadoop大数据分析》——第3章 深入剖析Apache Spark
- Apache Beam—透视Google统一流式计算的野心
- 高管证实,京东考虑进入外卖行业;特斯拉加速裁员,此前称暂停中国区招聘;Apache Doris成为ASF顶级项目|极客头条
- Apache Spark 2.0 最快4月亮相 预计效能翻九倍
- [Spark] 05 - Apache Kafka
- apache+php+mysql的分布安装
- java报错 pom.xml第一行报"org.apache.maven.archiver.MavenArchiver.getManifest(org.apache.maven.project...
- 《Spark与Hadoop大数据分析》——2.1 Apache Hadoop概述
- Apache Struts2远程代码执行漏洞S2-048 CVE-2017-9791 分析和防护方案
- Web服务器父与子 Apache和Tomcat区别
- IMF spark 正则表达式 统计apache log 日志
- C# mysql 连接Apache Doris
- Apache Flink的特点与对比Spark与Storm优势
- 问题排查之'org.apache.rocketmq.spring.starter.core.RocketMQTemplate' that could not be found.- Bean method 'rocketMQTemplate' in 'RocketMQAutoConfiguration' not loaded.