Spark内核源码深度分析
2023-06-13 09:17:20 时间
Spark内核架构术语
• Application: 基于Spark的用户程序,包含了一个driver program 和 集群中多个的executor
• Driver Program :运行Application的main()函数并且创建SparkContext,通常用SparkContext代表Driver Program。
• Cluster Manager: 在集群上获取资源的外部服务(例如:Standalone、Mesos、Yarn)
• Worker Node: 集群中任何可以运行Application代码的节点
• Executor: 是为某Application运行在worker node上的一个进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上。每个Application都有各自独立的executors。
• Task: 被送到某个executor上的工作单元
• Job: 包含多个Task组成的并行计算,往往由Spark action催生,该术语可以经常在日志中看到。
• Stage: 每个Job会被拆分很多组task,每组任务被称为Stage,也可称TaskSet,该术语可以经常在日志中看到。
• RDD:Spark的基本计算单元,可以通过一系列算子进行操作(主要有Transformation和Action操作),
• DAG Scheduler:根据Job构建基于Stage的DAG,并提交Stage给TaskScheduler,详见DAG Scheduler 细解。
• TaskScheduler:将Taskset提交给worker(集群)运行并回报结果,详见TaskScheduler 细解。
1.png
Stage是什么
1.png
相关文章
- 【Linux 内核网络协议栈源码剖析】recvfrom 函数剖析
- linux内核版本介绍_如何查看linux内核
- 好多网友都不知道怎么阅读Linux内核源码,这篇让你快速理解
- 基于Linux-3.9.4内核增加简单的时间片轮转功能
- 跟踪分析Linux内核5.0系统调用处理过程
- Linux内核源码目录
- 【Linux 内核 内存管理】Linux 内核堆内存管理 ③ ( CPU 计数器瓶颈 | per-CPU 计数器 | Linux 内核 percpu_counter 结构体源码 )
- 【Linux 内核 内存管理】虚拟地址空间布局架构 ② ( 用户虚拟地址空间组成 | 内存描述符 mm_struct 结构体源码 )
- 【Linux 内核 内存管理】mmap 系统调用源码分析 ① ( mmap 与 mmap2 系统调用 | Linux 内核中的 mmap 系统调用源码 )
- 【Linux 内核 内存管理】mmap 系统调用源码分析 ④ ( do_mmap 函数执行流程 | do_mmap 函数源码 )
- 【Linux 内核 内存管理】munmap 系统调用源码分析 ② ( do_munmap 函数执行流程 | do_munmap 函数源码 )
- 【Linux 内核 内存管理】memblock 分配器编程接口 ④ ( memblock_alloc 函数 | memblock_alloc_base 函数 )
- 【Linux 内核 内存管理】分区伙伴分配器 ② ( free_area 空闲区域结构体源码 | 分配标志位 | GFP_ZONE_TABLE 标志位区域类型映射表 |分配标志位对应的内存区域类型 )
- Linux协议栈源码分析:深入洞悉内核运行机制(linux协议栈源码分析)
- 探索Linux内核驱动层的奥秘(Linux内核驱动层)
- Linux内核:完美源码解析(linux内核完全注释)
- 一步步教你在Linux上降级内核(linux降级内核)
- Linux内核符号表:有效可靠的源码编译手段(linux内核符号表)
- Linux内核系统中 KSet 的应用(linuxkset)
- 分析Linux内核初始化过程源码剖析(linuxinit源码)
- Linux下深入查看内核源码(linux查看内核源码)
- Linux 内核源码分析:探索世界的奥秘(linux内核源码分析)
- LINUX下安装内核源码现场实操(linux安装内核源代码)
- 深入浅出Linux内核源码学习(linux内核源码学习)
- 如何在Linux上换内核?(linux换内核)
- 结构探索Linux内核源码的神秘目录结构(linux内核源码目录)
- Linux内核的频率优化策略(linux内核频率)
- 深入Linux内核:编译与调试实践(linux内核编译调试)
- 深入了解Linux内核路由表(linux内核路由表)
- 如何修改Linux内核版本(修改linux内核版本)
- Linux内核:深入分析代码的奥秘(linux 内核代码)