centos 安装 scala和 spark 并进行测试

centos 安装 scala和 spark

今天我们来讲一下，centos 安装scala 和spark，这篇博客接着上面四篇博客，感兴趣的，可以看看我前面几篇博客，那是关于hadoop 下对接eclipse 运行mapreduce 程序的操作。

1. 首先下载两个安装包
   在我给的下面这个网盘链接下载
   链接：https://pan.baidu.com/s/1RwI9FK-C1RzClQxwxj95Wg
   提取码：jslz

下载开头为spark 和sbt的两个文件
下载好之后放在centos 的 /usr/soft 文件夹下

2. 安装jdk

我们需要先安装好jdk 这里吗，我上面的网盘里也有，至于怎么安装，我之前的博客有详细的教程可以看一下
https://blog.csdn.net/weixin_43327597/article/details/108834870

4. 然后我们开始安装spark 和scala

首先我们进入 /usr/soft文件夹下

cd /usr/soft 
#然后解压这个两个文件夹
tar -zxvf  sbt-1.4.0.tgz
tar zxvf spark-2.0.2-bin-hadoop2.7.tgz

之后输入

ll

你会看到这样的显示

然后需要配置一下环境变量

vi  /etc/profile

添加如下代码

export SCALA_HOME=/usr/soft/sbt
export SPARK_HOME=/usr/soft/spark-2.0.2-bin-hadoop2.7
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

需要激活环境

source  /etc/profile

我们的scala和spark即安装好

4. 测试spark

cd spark-2.0.2-bin-hadoop2.7/
bin/spark-shell

即可启动spark shell

现在创建一个函数，测试
创建如下函数

{def main(args: Array[String]){println("helloworld")}}

显示如下结果则配置正确

之后我们测试
输入如下代码

HelloWorld.main(null)

显示如下结果则正确

到此就可以使用spark了