Spark全分布部署和HA
2023-06-13 09:17:16 时间
全分布部署
配置文件:conf/spark-env.sh
export JAVA_HOME=/root/training/jdk1.7.0_75
export SPARK_MASTER_HOST=spark1
export SPARK_MASTER_PORT=7077
#下面的可以不写,默认
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1024m
配置文件:conf/slave
spark2
spark3
启动Spark集群:start-all.sh
HA
基于Zookeeper的Standby Masters ZooKeeper提供了一个Leader Election机制,利用这个机制可以保证虽然集群存在多个Master,但是只有一个是Active的,其他的都是Standby。当Active的Master出现故障时,另外的一个Standby Master会被选举出来。由于集群的信息,包括Worker, Driver和Application的信息都已经持久化到ZooKeeper,因此在切换的过程中只会影响新Job的提交,对于正在进行的Job没有任何的影响。加入ZooKeeper的集群整体架构如下图所示。
1.png
参考: export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bigdata12:2181,bigdata13:2181,bigdata14:2181 -Dspark.deploy.zookeeper.dir=/spark"
另外:每个节点上,需要将以下两行注释掉。
1.png
在原节点上执行
Spark/sbin# ./start-all.sh
在备选的Master节点上执行
Spark/sbin# ./start-master.sh
相关文章
- Jenkins教程(自动化部署)
- Redis服务器部署
- Spark pool_spark docker
- KubeVirt重新打包部署流程
- 大数据环境部署之集群启动脚本
- 记一次部署在docker环境项目发送邮件出现No appropriate protocol
- Linux运维日志收集ELKStack安装部署
- Kubernetes-v1-24版安装部署之Node节点安装部署
- docker开源仓库Harbor部署笔记详解架构师
- nginx负载均衡和反向代理和部署详解架构师
- Spark入门实战系列–2.Spark编译与部署(下)–Spark编译安装详解大数据
- Spark入门实战系列–5.Hive(上)–Hive介绍及部署详解大数据
- Spark入门实战系列–10.分布式内存文件系统Tachyon介绍及安装部署详解大数据
- Spark-Sql源码解析之五 Spark Planner:optimized logical plan –> spark plan详解大数据
- 用Spark轻松写入Redis(spark写入redis)
- Linux系统下部署高性能Tomcat服务器(linux部署tomcat)
- MySQL安装指南:在正确的位置上进行部署(mysql装在哪)
- MySQL 自动安装脚本:轻松部署,节省时间(mysql 自动安装脚本)
- 发挥Spark火花结合Redis助力大数据分析(spark结合redis)
- Spark构建实时应用存储分析引擎Redis(spark存储redis)
- 极速前进基于Spark的Redis开发现代化(spark开发redis)
- Spark与Redis的比较新趋势的精彩发现(spark对比redis)
- Redis部署成服务一步一步搭建(redis部署成服务)