顾名思义，GraphX 是一个用于操作图（例如，社交网络图、路线和连接点，或网络拓扑图）和执行图并行计算的库。它提供了由社区用户贡献的用于分析、连接和遍历的标准图算法：可用的算法包括 PageRank、Connected Components 和 Triangle Counting。1

此代码片段显示了如何使用 GraphX API 连接两个图的简单示例：

// In Scala
val graph = Graph(vertices, edges)
messages = spark.textFile("hdfs://...")
val graph2 = graph.joinVertices(messages) {
  (id, vertex, msg) => ...
}

图 1-4。Apache Spark 组件和架构

Spark driver

作为 Spark 应用程序中负责实例化 a 的部分SparkSession，Spark 驱动程序具有多个角色：它与集群管理器通信；它从集群管理器为 Spark 的执行器（JVM）请求资源（CPU、内存等）；它将所有 Spark 操作转换为 DAG 计算，调度它们，并将它们的执行作为任务分配给 Spark 执行器。一旦分配了资源，它就直接与执行者进行通信。

SparkSession

在 Spark 2.0 中，它SparkSession成为所有 Spark 操作和数据的统一管道。它不仅包含了以前的 Spark 入口点，如SparkContext、SQLContext、HiveContext、SparkConf和StreamingContext，而且还使使用 Spark 变得更简单、更容易。

通过这一管道，您可以创建 JVM 运行时参数、定义数据帧和数据集、从数据源读取数据、访问目录元数据以及发出 Spark SQL 查询。SparkSession为 Spark 的所有功能提供一个统一的入口点。

在独立的 Spark 应用程序中，您可以SparkSession使用您选择的编程语言中的一种高级 API 创建一个。在 Spark shell（下一章会详细介绍）中SparkSession为您创建了它，您可以通过一个名为sparkor的全局变量来访问它sc。

而在 Spark 1.x 中，您必须创建单独的上下文（用于流、SQL 等），引入额外的样板代码，在 Spark 2.x 应用程序中，您可以创建SparkSession每个 JVM 并使用它来执行许多火花操作。

我们来看一个例子：

// In Scala
import org.apache.spark.sql.SparkSession

// Build SparkSession
val spark = SparkSession
  .builder
  .appName("LearnSpark")
  .config("spark.sql.shuffle.partitions", 6)
  .getOrCreate()
...
// Use the session to read JSON 
val people = spark.read.json("...")
...
// Use the session to issue a SQL query
val resultsDF = spark.sql("SELECT city, pop, state, zip FROM table_name")

集群管理器

集群管理器负责为运行 Spark 应用程序的节点集群管理和分配资源。目前，Spark 支持四种集群管理器：内置的独立集群管理器、Apache Hadoop YARN、Apache Mesos 和 Kubernetes。

Spark执行器

Spark 执行器在集群中的每个工作节点上运行。执行器与驱动程序通信并负责在工作人员上执行任务。在大多数部署模式中，每个节点只运行一个执行器。

部署模式

Spark 的一个吸引人的特性是它支持多种部署模式，使 Spark 能够在不同的配置和环境中运行。因为集群管理器不知道它的运行位置（只要它可以管理 Spark 的执行器并满足资源请求）， Spark 可以部署在一些最流行的环境中——例如 Apache Hadoop YARN 和 Kubernetes——并且可以在不同的环境中运行模式. 表 1-1总结了可用的部署模式.

分布式数据和分区

实际的物理数据作为分区分布在 HDFS 或云存储中（见图 1-5）。虽然数据作为分区分布在整个物理集群中，但 Spark 将每个分区视为高级逻辑数据抽象——作为内存中的 DataFrame。尽管这并不总是可行的，但最好为每个 Spark 执行程序分配一个任务，该任务要求它读取网络中离它最近的分区，并观察数据的局部性。

分区允许有效的并行性。将数据分解成块或分区的分布式方案允许 Spark 执行器仅处理靠近它们的数据，从而最大限度地减少网络带宽。也就是说，每个执行器的核心都被分配了自己的数据分区来处理（见图1-6）。

例如，这段代码片段将跨集群存储的物理数据分成八个分区，每个执行程序将获得一个或多个分区来读入其内存：

# In Python
log_df = spark.read.text("path_to_large_text_file").repartition(8)
print(log_df.rdd.getNumPartitions())

这段代码将创建一个包含 10,000 个整数的 DataFrame，分布在内存中的 8 个分区上：

# In Python
df = spark.range(0, 10000, 1, 8)
print(df.rdd.getNumPartitions())

两个代码片段都将打印出来8。

在第3章和第7章中，我们将讨论如何调整和更改分区配置，以根据您的 executor 上的内核数量来实现最大并行度。.

数据科学任务

作为在大数据时代崭露头角的一门学科，数据科学就是用数据讲故事。但在他们讲述故事之前，数据科学家必须清理数据，探索数据以发现模式，并建立模型来预测或建议结果。其中一些任务需要统计学、数学、计算机科学和编程知识。

大多数数据科学家都精通使用 SQL 等分析工具，熟悉 NumPy 和 pandas 等库，并且精通 R 和 Python 等编程语言。但他们还必须知道如何处理或转换数据，以及如何使用已建立的分类、回归或聚类算法来构建模型。他们的任务通常是迭代的、交互式的或临时的，或者是实验性的，以断言他们的假设。

幸运的是，Spark 支持这些不同的工具。Spark 的 MLlib 提供了一组通用的机器学习算法来构建模型管道，使用高级估计器、转换器和数据特征化器。Spark SQL 和 Spark shell 促进了数据的交互式和临时探索。

此外，Spark 使数据科学家能够处理大型数据集并扩展他们的模型训练和评估。Apache Spark 2.4 引入了一个新的 gang 调度器，作为Project Hydrogen的一部分，以适应以分布式方式训练和调度深度学习模型的容错需求，Spark 3.0 引入了支持独立 GPU 资源收集的能力， YARN 和 Kubernetes 部署模式。这意味着任务需要深度学习技术的开发人员可以使用 Spark。

数据工程任务

在构建模型后，数据科学家通常需要与可能负责部署模型的其他团队成员合作。或者，他们可能需要与其他人密切合作，将原始、脏数据构建和转换为其他数据科学家可以轻松使用或使用的干净数据。例如，分类或聚类模型不是孤立存在的；它与其他组件（如 Web 应用程序或 Apache Kafka 等流引擎）结合使用，或作为更大数据管道的一部分。该管道通常由数据工程师构建。

数据工程师对软件工程原理和方法有深刻的理解，并拥有为既定业务用例构建可扩展数据管道的技能。数据管道支持对来自无数来源的原始数据进行端到端转换——数据经过清理，以便开发人员在下游使用，存储在云中或 NoSQL 或 RDBMS 中以生成报告，或通过以下方式供数据分析师访问商业智能工具。

Spark 2.x 引入了一种进化流模型，称为带结构化流的连续应用程序（在第 8 章中详细讨论）。借助结构化流 API，数据工程师可以构建复杂的数据管道，使他们能够从实时和静态数据源中对数据进行 ETL。

数据工程师之所以使用 Spark，是因为它提供了一种并行计算的简单方法，并隐藏了分布和容错的所有复杂性。这让他们可以自由地专注于使用基于 DataFrame 的高级 API 和特定领域语言 (DSL) 查询来执行 ETL，读取和组合来自多个来源的数据。

由于用于 SQL的Catalyst 优化器和用于紧凑代码生成的Tungsten ，Spark 2.x 和 Spark 3.0 中的性能改进使数据工程师的生活变得更加轻松。他们可以选择使用适合手头任务的三种Spark API（RDD、DataFrame 或 Dataset）中的任何一种，并从 Spark 中获益。

流行的 Spark 用例

无论您是数据工程师、数据科学家还是机器学习工程师，您都会发现 Spark 对于以下用例非常有用：

• 并行处理分布在集群中的大型数据集

• 执行即席或交互式查询以探索和可视化数据集

• 使用 MLlib 构建、训练和评估机器学习模型

• 从无数数据流中实现端到端数据管道

• 分析图数据集和社交网络

图 1-7。GitHub 上 Apache Spark 的状态（来源：https ://github.com/apache/spark ）