Spark集群安装
CentOS7+Hadoop2.7.2(HA高可用+Federation联邦)+Hive1.2.1+Spark2.1.0 完全分布式集群安装详解大数据
本文档主要记录了Hadoop+Hive+Spark集群安装过程，并且对NameNode与ResourceManager进行了HA高可用配置，以及对NameNode的横向扩展（Federation联邦） 1 VM网络配置 将子网IP设置为192.168.1.0： 将网关设置为192.168.1.2： 并禁止DHCP 当经过上面配置后
日期 2023-06-12 10:48:40
Spark集群安装和使用
关于 yum 源的配置以及 Hadoop 集群的安装，请参考 使用yum安装CDH Hadoop集群。 1. 安装 首先查看 Spark 相关的包有哪些： $ yum list |grep spark spark-core.noarch 1.3.0+cdh5.4.0+24-1.cdh5.4.0.p0.52.el6 spark-history-server.noarch 1.3.0+cdh
日期 2023-06-12 10:48:40Spark2.3 HA集群的分布式安装
一、下载Spark安装包 1、从官网下载 http://spark.apache.org/downloads.html 2、从微软的镜像站下载 http://mirrors.hust.edu.cn/apache/ 3、从清华的镜像站下载 https://mirrors.tuna.tsinghua.edu.cn/apache/ 二、安装基础 1、Java8安装成功 2、zookeeper安装成功
日期 2023-06-12 10:48:40
spark standalone集群安装及spark on yarn
standalone模式 配置spark 安装spark，并不需要安装scala 。spark使用的是netty。6066是restful接口端口；7077是m-w通信端口；
日期 2023-06-12 10:48:40
Hadoop Spark 集群简便安装总结
本人实际安装经验，目的是为以后高速安装。仅供自己參考。 一、Hadoop 1、操作系统一如既往：①setup关掉防火墙、②vi /etc/sysconfig/selinux，改SELINUX=disabled 。(3)安装时自己定义不要JAVA。④系统安装后，直接创建用户hadoop，password同username。 2、ssh。①在master上以hadoop用户运
日期 2023-06-12 10:48:40
spark2.2 + jdk1.8 + centos7集群安装教程（单个Master，不依赖hadoop安装）
1.准备环境 安装centos7，在此我准备了五个虚拟机，分别命名为L1，L2,L3,L4,L5.计划在L1上面运行Master节点，在L3,L4,L5上面运行Worker节点。网络配置以及ssh免密登陆配置不再详细讲解，请参考我的另外一篇博客：虚拟机网络配置以及准备工作：https://blog.csdn.net/weixin_43866709/article/details/87977822
日期 2023-06-12 10:48:40CentOS6安装大数据软件（八）：Spark集群安装和部署
目录 0. 相关文章链接 1. Spark安装包的下载 2. Spark集群安装和部署 2.1. 上传安装包并进行解压 2.2. 修改spark-env.sh 2.3. 修改slaves配置文件 2.4. 配置Spark环境变量 2.5. 将spark安装目录发送到其他服务器 2.6. Spark启动和停止 2.7. 验证Spark集群
日期 2023-06-12 10:48:40
179 Spark集群安装
1.准备两台以上Linux服务器，安装好JDK1.7 2.下载Spark安装包 http://www.apache.org/dyn/closer.lua/spark/spark-1.5.2/spark-1
日期 2023-06-12 10:48:40《Spark大数据处理：技术、应用与性能优化》——第2章 Spark集群的安装与部署2.1 Spark的安装与部署
本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第2章，第2.1节,作者:高彦杰 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 第2章 Spark集群的安装与部署 Spark的安装简便，用户可以在官网上下载到最新的软件包。Spark最早是为了在Linux平台上使用而开发的，在生产环境中也是部署在Linux平台上，但是Spark在UNIX、Windwos和M
日期 2023-06-12 10:48:40