Spark的三种提交模式
2023-06-13 09:17:20 时间
Spark内核架构,其实就是第一种模式,standalone模式,基于Spark自己的Master-Worker集群。 基于YARN的yarn-cluster模式 基于YARN的yarn-client模式 (如果要切换到第二种或者第三种模式,将我们提交的spark应用的spark-submit脚本,加上--master参数,设置为yarn-cluset或者yarn-client,默认就是standalone模式)
1.png
当在YARN上运行Spark作业,每个Spark executor作为一个YARN容器(container)运行。Spark可以使得多个Tasks在同一个容器(container)里面运行。这是个很大的优点。yarn-cluster适用于生产环境;而yarn-client适用于交互调试,也就是希望快速地看到application的输出。 找到spark-env.sh 加一个 export HADOOP_HOME=/usr/local/hadoop 安装目录 --master=yarn-
相关文章
- 在EDGE下使用网银(IE模式)
- 23种设计模式之享元模式
- php 管道/流水线/Pipeline模式指的是什么?
- 概述代币增发模式DAPP系统开发搭建(现成演示版)
- 使用ss的多用户模式
- 漫谈模式之适配器模式
- 【Oauth2.0 单点登录 + 第三方授权认证】用户认证、授权模式
- Spark-Sql源码解析之五 Spark Planner:optimized logical plan –> spark plan详解大数据
- 被爆出隐身模式下收集用户数据后 小米/薄荷浏览器发布新版增加收集开关
- 模式Linux的分支模式:实现跨平台开发的利器(linux的分支)
- 「借用Linux桥接新的编程模式」(桥接模式linux)
- MySQL三级模式结构详解(mysql三级模式结构)
- 主从同步Redis稳健分布式存储技术(主从模式 redis)
- 作为缓存Spark利用Redis缓冲数据的应用(spark需要redis)
- Spark高效消费Redis中数据(spark消费redis)
- Spark在Redis中的火花开启高性能数据处理(spark 写redis)
- 利用Spark解锁Redis发挥新实力(spark与redis)
- 点分析Redis集群模式槽点分析(redis集群模式 槽)
- Redis集群模式优秀的性能吗(redis集群模式好吗)
- Spark与Redis的比较新趋势的精彩发现(spark对比redis)
- JavaScript的Module模式编程深入分析
- Python设计模式之代理模式实例
- CodeIgniterCLI模式简介