Spark2.4.0伪分布式环境搭建
2023-03-14 09:44:33 时间
一、搭建环境的前提条件
环境:ubuntu-16.04
hadoop-2.6.0
jdk1.8.0_161。
spark-2.4.0-bin-hadoop2.6。这里的环境不一定需要和我一样,基本版本差不多都ok的,但注意这里spark要和hadoop版本相对应。所需安装包和压缩包自行下载即可。
因为这里是配置spark的教程,首先必须要配置Hadoop,配置Hadoop的教程在Hadoop2.0伪分布式平台环境搭建。配置Java以及安装VMware Tools就自行百度解决哈,这里就不写了(因为教程有点长,可能有些地方有些错误,欢迎留言评论,我会在第一时间修改的)。
二、搭建的详细步骤
1、首先确保Hadoop伪分布式环境正在运行
2、首先对spark安装包解压缩
tar -zxvf spark-2.4.0-bin-hadoop2.6
3、进入spark/conf修改配置文件
cd spark-2.4.0-bin-hadoop2.6/ cd conf/ cp spark-env.sh.template spark-env.sh
然后在spark-env.sh文件最后添加内容
vim spark-env.sh
4、配置环境变量
vim ~/.bashrc
在文件最后加入spark的路径
保存使其立即生效。
source ~/.bashrc
5、启动spark
cd .. sbin/start-all.sh
jps查看进程
出现上面这些节点说明搭建成功。
6、webUI查看
http://localhost:8080/
7、若搭建成功的命令行界面,注意路径
退出命令为 :quit 。
相关文章
- 【Linux】——在Xshell输入ssh root@公网ip进行远程连接Linux失败,显示(port 22): Connection failed的完美解决方法
- 【Linux】—一文掌握Linux基本命令(上)
- HTML DOM的各种宽高、偏移位置的属性总结
- 新的一年,建议尝试下这7个JavaScript 库
- TP6.0中的密码验证逻辑、验证器的使用
- 分享14个你可能还未用上但又实用的CSS属性
- 分享10个让人迷惑的前端面试题(上)
- SortableJS / vue.draggable.next 使用笔记,持续记录
- uwsgi 配置 python virtualenv 虚拟环境目录 ( ini 配置)
- nginx 同一 iP 多域名配置方法(单文件)
- Ant Design Vue自定义主题失效解决办法
- xadmin 安装方法导致 theme 插件应用失败,暂时未知原因
- django-haystack 全文检索配置
- django 通用视图(generic view)获取 request
- Photoshop 2022 for Mac(ps 2022图像处理软件)
- Linux创建逻辑卷,合并多块数据盘。
- windows +apache + django + mod_wsgi 部署 Django 站点
- 使用PHPStorm自带的Git版本控制,出现Git.exe占用内存过高
- WordPress免费主题:Document,让阅读变得更加方便
- PHP+Swoole实现web版的SSH客户端