spark 安装
CentOS7.5之spark2.3.1安装详解大数据
1.1 Spark概述 Apache Spark是一个快速且通用的集群计算系统。它提供Java，Scala，Python和R中的高级API以及支持通用执行图的优化引擎。是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是
日期 2023-06-12 10:48:40
Linux下spark安装指南，快速实现大数据处理（linux安装spark）
Linux下Spark安装指南，快速实现大数据处理 在Big Data领域，Apache Spark可谓是一种强大的数据处理框架，它把大数据处理变得更加容易、高效。本文主要介绍如何在Linux系统下安装和使用Spark，以便高效的处理大数据。 首先，在安装Spark之前，确保在Linux系统上已经安装了JDK（Java Development Kit），当然也可以使用其他语言，但是相比其他语
日期 2023-06-12 10:48:40
Spark集群安装和使用
关于 yum 源的配置以及 Hadoop 集群的安装，请参考 使用yum安装CDH Hadoop集群。 1. 安装 首先查看 Spark 相关的包有哪些： $ yum list |grep spark spark-core.noarch 1.3.0+cdh5.4.0+24-1.cdh5.4.0.p0.52.el6 spark-history-server.noarch 1.3.0+cdh
日期 2023-06-12 10:48:40
Spark随谈（二）—— 安装攻略
本来安装这件事情，不用单独开一篇谈的。但是Spark的安装实在是一件点蛋疼的事情，这和Spark的语言和框架两者有颇大的关系。 Spark是Scala语言写的，所以要先安装Java和Scala，而底层的调度框架是Mesos，Mesos是C++写的，所以又对机器的glibc和gcc环境有一定的要求。 本来安装这件事情，不用单独开一篇谈的。但是Spark的安装实在是一件点蛋疼的事情，这和Spar
日期 2023-06-12 10:48:40
sparkR介绍及安装
sparkR介绍及安装 SparkR是AMPLab发布的一个R开发包，为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集（RDD）的API，用户可以在集群上通过R shell交互性的运行job。例如，我们可以在HDFS上读取或写入文件，也可以使用 lapply 来定义对应每一个RDD元素的运算。 1 2 3 sc <- spark
日期 2023-06-12 10:48:40spark 1.X standalone和on yarn安装配置
安装JDK 1.7以上 Hadoop 2.7.0不支持JDK1.6，Spark 1.5.0开始不支持JDK 1.6 安装Scala 2.10.4 安装 Hadoop 2.x 至少HDFS spark-env.sh export JAVA_HOME= export SCALA_HOME= export HADOOP_CONF_DIR=/opt/modules/had
日期 2023-06-12 10:48:40201_Spark安装部署：Standalone模式
1、实验描述 以spark Standalone的运行模式安装Spark集群实验时长： 45分钟主要步骤： 解压安装Spark添加Spark 配置文件启动Spark 集群运行测试用例 2、实验环境 虚拟机数量：3(一主两从，主机名分别为：master、slave01、s
日期 2023-06-12 10:48:40Spark随谈（二）—— 安装攻略
本来安装这件事情，不用单独开一篇谈的。但是Spark的安装实在是一件点蛋疼的事情，这和Spark的语言和框架两者有颇大的关系。 Spark是Scala语言写的，所以要先安装Java和Scala，而底层的调度框架是Mesos，Mesos是C++写的，所以又对机器的glibc和gcc环境有一定的要求。装好了Mesos和Spark，还要把2者衔接起来，版本要选择正确，这几个步骤，中间任何一步错了都Sp
日期 2023-06-12 10:48:40Spark大数据实战之二：安装Hadoop
1、克隆并启动虚拟机 第1步、若master已开启，首先将其关闭 第2步、在左侧导航栏中，右键单击master客户机，选择“管理”-“克隆”选项，打开“克隆虚拟机向
日期 2023-06-12 10:48:40Spark大数据实战之五：Spark安装
1、下载解压spark安装包 Apache官网下载Spark，拖拽到master节点上lala用户目录下，解压 https://archive.apache.org/dist/spark/spa
日期 2023-06-12 10:48:40
【Spark】Spark的Standalone模式安装部署
Spark执行模式 Spark 有非常多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则执行在集群中，眼下能非常好的执行在 Yarn和 Mesos 中。当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，假设企业已经有 Yarn 或者 Mesos 环境。也是非常方便部署的。 local(本地
日期 2023-06-12 10:48:40【大数据监控】Grafana、Spark、HDFS、YARN、Hbase指标性能监控安装部署详细文档
目录 Grafana简介下载软件包安装部署修改配置文件创建用户创建Systemd服务启动 Grafana Spark应用监控 Graphite_exporterHDFS 监控YARN 监控HBase 监控
日期 2023-06-12 10:48:40