提供了编程的基础技术教程

zl程序教程

您现在的位置是：首页 >  其他

当前栏目

《循序渐进学Spark 》导读

架构 集群 通信 Spark
2023-03-14 22:31:19 时间

目　　录
前　言
1.1　Spark概述与架构    
1.1.1　Spark概述    
1.1.2　Spark生态    
1.1.3　Spark架构    
1.2　在Linux集群上部署Spark    
1.2.1　安装OpenJDK    
1.2.2　安装Scala    
1.2.3　配置SSH免密码登录    
1.2.4　Hadoop的安装配置    
1.2.5　Spark的安装部署    
1.2.6　Hadoop与Spark的集群复制    
1.3　Spark 集群试运行    
1.4　Intellij IDEA的安装与配置    
1.4.1　Intellij的安装    
1.4.2　Intellij的配置    
1.5　Eclipse IDE的安装与配置   
1.6　使用Spark Shell开发运行Spark程序   
1.7　本章小结    
第2章　Spark 编程模型    
2.1　RDD弹性分布式数据集    
2.1.1　RDD简介    
2.1.2　深入理解RDD    
2.1.3　RDD特性总结    
2.2　Spark程序模型    
2.3　Spark算子    
2.3.1　算子简介    
2.3.2　Value型Transmation算子    
2.3.3　Key-Value型Transmation算子   
2.3.4　Action算子    
2.4　本章小结    
第3章　Spark机制原理    
3.1　Spark应用执行机制分析    
3.1.1　Spark应用的基本概念
3.1.2　Spark应用执行机制概要    
3.1.3　应用提交与执行   
3.2　Spark调度机制    
3.2.1　Application的调度    
3.2.2　job的调度    
3.2.3　stage（调度阶段）和TasksetManager的调度    
3.2.4　task的调度   
3.3　Spark存储与I/O    
3.3.1　Spark存储系统概览    
3.3.2　BlockManager中的通信   
3.4　Spark通信机制    
3.4.1　分布式通信方式    
3.4.2　通信框架AKKA   
3.4.3　Client、Master和Worker之间的通信    
3.5　容错机制及依赖    
3.5.1　Lineage（血统）机制   
3.5.2　Checkpoint（检查点）机制    
3.6　Shuffle机制    
3.6.1　什么是Shuffle    
3.6.2　Shuffle历史及细节    
3.7　本章小结    

相关文章