Cloudera Management添加spark2服务
用Cloudera Management管理集群时, 有时候在我们已经搭建了cdh版的集群, 又要用到spark2服务,在yarn上跑实时任务,而cdh集群中cdh中不包含spark2服务,因此需要另外下载。
目录
一、下载spark2的parcel包
1、去这里http://archive.cloudera.com/spark2/下载
2、下载箭头指的三个文件,选择适合自己的操作系统,我是CentOS6,这里选择el6
3、下载对应csd jar包,csd版本要和parcel的版本严格对应,不对应会找不到spark服务
二、上传至服务器
1、上传下载的四个文件
2、把CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha1重命名为CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha
3、将 manifest.json、CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha、CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel
三个文件,上传到/opt/cloudera/parcel-repo/下,把原来manifest.json重命名即可
4、将SPARK2_ON_YARN-2.2.0.cloudera2.jar上传到opt/cloudera/csd下,csd目录需要手动创建
三、添加spark服务
1、停止集群和cms服务
2、重启server和各节点agent
/opt/cm-5.12.2/etc/init.d/cloudera-scm-server restart
/opt/cm-5.12.2/etc/init.d/cloudera-scm-agent restart
3、去 parcel页面, 分配,激活
这里已经分配、激活了,如果没有, 先点击“分配”按钮,然后再激活
4、添加spark服务
可以看到出现了spark2服务,选中服务,继续下一步,为spark2服务分配节点即可
5、选择节点,自定义分配角色, 分配完后继续
6、进入启动Spark界面
7、启动完成后点击继续,成功如下
相关文章
- SpringCloud微服务(07):Zipkin组件,实现请求链路追踪
- 微服务简介
- 共拓云端,连接上云——思科与云市场共拓企业服务之路
- CentOS 7设置开机启动服务,添加自定义系统服务
- 添加Nginx为系统服务(设置开机启动)
- secureCRT关闭连接自动关闭tomcat服务
- CentOS7添加开机启动服务/脚本(延用CentOS6方法)
- CentOS7设置自定义开机启动,添加自定义系统服务
- Ubuntu下多服务器 Rsync同步镜像服务配置
- 在CentOS 7上利用systemctl添加自定义系统服务 /usr/lib/systemd/
- Windows服务的删除与添加
- 【树莓派】服务配置相关
- 开发者服务是“身份验证安全服务(IDaaS)”的下一个救赎?
- 添加Mysql到Windows系统服务