深入理解Spark:核心思想与源码分析. 2.4 Spark基本架构
2023-09-11 14:16:02 时间
从集群部署的角度来看,Spark集群由以下部分组成:
Cluster Manager:Spark的集群管理器,主要负责资源的分配与管理。集群管理器分配的资源属于一级分配,它将各个Worker上的内存、CPU等资源分配给应用程序,但是并不负责对Executor的资源分配。目前,Standalone、YARN、Mesos、EC2等都可以作为Spark的集群管理器。
Worker:Spark的工作节点。对Spark应用程序来说,由集群管理器分配得到资源的Worker节点主要负责以下工作:创建Executor,将资源和任务进一步分配给Executor,同步资源信息给Cluster Manager。
Executor:执行计算任务的一线进程。主要负责任务的执行以及与Worker、Driver App的信息同步。
Driver App:客户端驱动程序,也可以理解为客户端应用程序,用于将任务程序转换为RDD和DAG,并与Cluster Manager进行通信与调度。
这些组成部分之间的整体关系如图2-7所示。
《深入理解Spark:核心思想与源码分析》——导读 本节书摘来自华章社区《深入理解Spark:核心思想与源码分析》一书中的目录,作者耿嘉安,更多章节内容可以访问云栖社区“华章社区”公众号查看
相关文章
- 队列之王: Disruptor 原理、架构、源码 一文穿透
- Caffeine 源码、架构、原理(史上最全,10W字超级长文)
- Java开源生鲜电商平台-支付模块的设计与架构(源码可下载) Java开源生鲜电商平台-订单表的设计(源码可下载)
- 【深入浅出jQuery】源码浅析--整体架构
- 移植perl到riscv架构
- Tensorflow 源码算子以及架构实现分析
- 《企业大数据系统构建实战:技术、架构、实施与应用》一3.2 如何选择解决方案
- Java线程池架构(一)原理和源码解析
- Loggerly技术架构
- http框架--OkHttp 4 架构与源码分析
- 这部《从零开始学架构》神书就此霸榜
- 孙玄:微服务架构何去何从?
- 大型互联网架构演化史
- 《企业大数据系统构建实战:技术、架构、实施与应用》——1.3 本章小结
- 软件架构的核心问题:怎样组织软件能更容易生成和维护解决问题的工具-业务决定架构
- B/S架构测试环境搭建_Oracle篇(Win32系统)
- Spring模块组成(框架组成、整体架构、体系架构、体系结构)
- Spring模块组成(框架组成、整体架构、体系架构、体系结构)
- (二)xxx项目整体设计与项目架构及其技术选型(附源码)
- Python乐园提供Python学习的基地,免费分享与提供基础学习、高级开发、有趣的爬虫、人工智能、系统网站开发、前沿的最新技术、项目架构、以及配套的资料、视频、源码、笔记等等