深入理解Spark：核心思想与源码分析. 1.3　阅读环境准备

1.3　阅读环境准备

准备Spark阅读环境，同样需要一台好机器。笔者调试源码的机器的内存是8 GB。源码阅读的前提是在IDE环境中打包、编译通过。常用的IDE有IntelliJ IDEA、Eclipse。笔者选择用Eclipse编译Spark，原因有二：一是由于使用多年对它比较熟悉，二是社区中使用Eclipse编译Spark的资料太少，在这里可以做个补充。在Windows系统编译Spark源码，除了安装JDK外，还需要安装以下工具。

（1）安装Scala

由于Spark 1.20版本的sbt里指定的Scala版本是2.10.4，具体见Spark源码目录下的文件\project\plugins.sbt，其中有一行：scalaVersion := "2.10.4"。所以选择下载scala-2.10.4.msi，下载地址：http://www.scala-lang.org/download/。

下载完毕，安装scala-2.10.4.msi。

（2）安装SBT

由于Scala使用SBT作为构建工具，所以需要下载SBT。下载地址：http://www.scala-sbt.org/，下载最新的安装包sbt-0.13.8.msi并安装。

（3）安装Git Bash

由于Spark源码使用Git作为版本控制工具，所以需要下载Git的客户端工具，推荐使用Git Bash，因为它更符合Linux下的操作习惯。下载地址：http://msysgit.github.io/，下载最新的版本并安装。

（4）安装Eclipse Scala IDE插件

Eclipse通过强大的插件方式支持各种IDE工具的集成，要在Eclipse中编译、调试、运行Scala程序，就需要安装Eclipse Scala IDE插件。下载地址：http://scala-ide.org/download/current.html。

由于笔者本地的Eclipse版本是Eclipse 4.4 (Luna)，所以选择安装插件http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site，如图1-14所示。

图1-14　Eclipse Scala IDE插件安装地址

在Eclipse中选择Help菜单，然后选择Install New Software…选项，打开Install对话框，如图1-15所示。

图1-15　Install对话框

单击Add按钮，打开Add Repository对话框，输入插件地址，如图1-16所示。

图1-16　添加Scala IDE插件地址

全选插件的内容，完成安装，如图1-17所示。

图1-17　安装Scala IDE插件