Spark集群搭建
hadoop+spark+zookeeper+hive的大数据分布式集群搭建
hadoop+spark+zookeeper分布式集群部署这里的排版可能不太好看因为本是我直接写在博客上的外挂标签修剪的，如果想要获得更好的阅读体验建议在我的博客中浏览1.环境准备环境的准备基于我写的初始化脚本,自用7.x系列的CentOS,老版本的就支持CentOS/Redhat6,7,8但是有点不完善，需要可以邮箱或者博客留言。os\ip hostnameblock
日期 2023-06-12 10:48:40
hadoop+spark分布式集群搭建
hadoop+spark分布式集群部署1.环境准备 环境的准备基于我写的初始化脚本,自用7.x系列的CentOS,老版本的就支持CentOS/Redhat6,7,8但是有点不完善，需要可以邮箱或者博客留言。 os\iphostnameblockcentos7.9 192.168.222.226masterrsmanager,datanode,namenode.snamenode,nmanager
日期 2023-06-12 10:48:40
Spark项目之电商用户行为分析大数据平台之（三）大数据集群的搭建详解大数据
此页面是否是列表页或首页？未找到合适正文内容。
日期 2023-06-12 10:48:40
Spark项目之电商用户行为分析大数据平台之（二）CentOS7集群搭建详解大数据
IP及主机名规划如下： 192.168.123.110 spark1192.168.123.111 spark2192.168.123.112 spark3 1.2 修改IP地址 [[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 1.3 修改主机映射 [[email protected] ~]#
日期 2023-06-12 10:48:40Spark集群搭建
Spark集群搭建 一、环境说明1、机器：3台虚机(hadoop01/hadoop02/hadoop03)2、Linux版本：CentOS 6.53、JDK版本：1.84、Hadoop版本：hadoop-2.5.25、Spark版本：Spark-1.3.16、Scala版本：scala-2.10.6二、安装步骤1、安装Hadoop,这里不做具体讲解172.16.1.156 hadoop01172
日期 2023-06-12 10:48:40Spark修炼之道（进阶篇）——Spark入门到精通：第一节 Spark 1.5.0集群搭建
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经过测试），经本人测试在ubuntu 10.04 操作系统上可以顺利成功搭建。大家可以利用CentOS 6.5进行尝试，如果有问题，再利用ubuntu 10.04搭建，所有步
日期 2023-06-12 10:48:40Spark修炼之道（进阶篇）——Spark入门到精通：第十五节 Kafka 0.8.2.1 集群搭建
到下面的地址下载：Scala 2.10 - kafka_2.10-0.8.2.1.tgz http://kafka.apache.org/downloads.html 下载完成后，使用命令 解压，解压后的目录如下 进入config目录，将server.properties文件内容如下： ############################# Server Basics ######
日期 2023-06-12 10:48:40Spark-1.4.0集群搭建
192.168.1.101 ResourceManager DataNode、NodeManager、JournalNode、QuorumPeerMain NameNode、DFSZKFailoverController(zkfc) 192.168.1.102 DataNode、NodeManager、JournalNode、QuorumPeerMain NameNode、DFSZK
日期 2023-06-12 10:48:40【msb】spark基于yarn的集群搭建、配置、资源调度参数、优化jars
修改配置时要注意是资源层还是计算层的配置。有的放矢！ spark-env中无需配置项如下： 删除这四项： spark-env只需配置 spark-defaul
日期 2023-06-12 10:48:40Spark集群搭建+基于zookeeper实现高可用HA
vi spark-env.sh(三台都要) export JAVA_HOME=/usr/java/jdk1.8.0_20/ export SCALA_HOME=/home/iespark/hadoop_program_files/scala-2.10.6/ export HADOOP_HOME=/home/iespa
日期 2023-06-12 10:48:40spark完全分布式集群搭建
最近学习Spark，因此想把相关内容记录下来，方便他人参考，也方便自己回忆吧 spark开发环境的介绍资料很多，大同小异，很多不能一次配置成功，我以自己的实际操作过程为准，详细记录下来。 1、基本运行环境 spark的运行需要java和scala的支持，因此首先需要配置java、scala运行环境，网上资料很多，也很简单 &nb
日期 2023-06-12 10:48:40Spark集群搭建（local、standalone、yarn）
Spark集群搭建 local本地模式 下载安装包解压即可使用，测试（2.2版本）./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[1] ./examples/jars/spark-examples_2.11-2.2.0.jar 100 local[1]：1代表线程数100：spark类中需要的
日期 2023-06-12 10:48:40
实时计算框架：Spark集群搭建与入门案例
一、Spark概述 1、Spark简介 Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎，实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流，运算速度相比于MapReduce得到了显著的提高。 2、运行结构 Driver 运行Spark的Applicaion中main()函数，会创建SparkContext，SparkContext负责和Cluster-
日期 2023-06-12 10:48:40Spark集群基于Zookeeper的HA搭建部署笔记（转）
原文链接：Spark集群基于Zookeeper的HA搭建部署笔记 1.环境介绍 （1）操作系统RHEL6.2-64 （2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152) （3）两个节点上都装好了Hadoop 2.2集群 2.安装Zookeeper （1）下载Zookeeper：http://apache.claz.org/zookeepe
日期 2023-06-12 10:48:40Spark-----Spark 与 Hadoop 对比，Spark 集群搭建与示例运行，RDD算子简单入门
目录 一、Spark 概述 1.1. Spark是什么 1.2. Spark的特点(优点) 1.3. Spark组件 1.4. Spark和Hadoop的异同 二、Spark 集群搭建 2.1. Spark 集群结构 2.2. Spark 集群搭建 2.3. Spark 集群高可用搭建 2.4. 第一个应用的运行 三、 Spar
日期 2023-06-12 10:48:40