Spark介绍
SparkStreaming的介绍及原理
大家好，又见面了，我是你们的朋友全栈君。 一、SparkStreaming的介绍1.离线和流处理的区别1）离线处理是针对一个批次，这个批次一般情况下都比较大流处理对应的数据是连续不断产生，处理时间间隔非常短的数据2）离线处理程序，因为数据是有限的（bounded），所以会终止流数据因为是连续不断的产生，所以数据是无限的（unbounded）由于数据的特征，一般离线处理比较缓慢，流数据处理相对较
日期 2023-06-12 10:48:40Spark UI基本介绍
Spark UI是反映一个Spark作业执行情况的web页面, 用户可以通过Spark UI观察Spark作业的执行状态, 分析可能存在的问题.。本文会介绍Spark UI的相关内容和常用的分析方法, 帮助大家更快看懂Spark究竟是如何执行代码以及通过Spark UI定位常见的作业问题.以一个常见的Spark任务为例, Spark UI如图:后续文章将从下面7个模块依次介绍。序号标签页说明文档1
日期 2023-06-12 10:48:40
Spark pyspark rdd连接函数之join、leftOuterJoin、rightOuterJoin和fullOuterJoin介绍
大家好，又见面了，我是你们的朋友全栈君。Spark pyspark rdd连接函数之join、leftOuterJoin、rightOuterJoin和fullOuterJoin介绍 union用于组合两个rdd的元素，join用于内连接，而后三个函数(leftOuterJoin，rightOuterJoin，fullOuterJoin)用于类似于SQL的左、右、全连接。 针对key-value形
日期 2023-06-12 10:48:40Spark介绍
Spark，是一种"One Stack to rule them all"的大数据计算框架，期望使用一个技术堆栈就完美地解决大数据领域的各种计算任务。Apache官方，对Spark的定义就是：通用的大数据快速处理引擎。（基于内存）Spark使用Spark RDD、Spark SQL、Spark Streaming、MLlib、GraphX成功解决了大数据领域中，离线批处理、交互
日期 2023-06-12 10:48:40
Spark Streaming大数据实时计算介绍
Spark Streaming，其实就是一种Spark提供的，对于大数据，进行实时计算的一种框架。它的底层，其实，也是基于我们之前讲解的Spark Core的。基本的计算模型，还是基于内存的大数据实时计算模型。而且，它的底层的组件，其实还是最核心的RDD。 只不过，针对实时计算的特点，在RDD之上，进行了一层封装，叫做DStream。其实，学过了Spark SQL之后，你理解这种封装就容易了。之
日期 2023-06-12 10:48:40Spark 介绍详解大数据
安装在集群上的spark版本：spark-1.6.3-bin-hadoop2.6.tgz scala版本：scala-2.10.4.tgz 1、spark是什么 Spark， 是一种通用的大数据计算框架， 正如传统大数据技术Hadoop的MapReduce、 H
日期 2023-06-12 10:48:40Spark入门实战系列–5.Hive（上）–Hive介绍及部署详解大数据
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送 Spark入门实战系列》获取 1、Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它是Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL语句作为数据访问接口，Hive有如下优缺点： l 优点： 1.H
日期 2023-06-12 10:48:40
Spark入门实战系列–7.Spark Streaming（上）–实时流计算Spark Streaming原理介绍详解大数据
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送 Spark入门实战系列》获取 1、Spark Streaming简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sock
日期 2023-06-12 10:48:40Spark入门实战系列–9.Spark图计算GraphX介绍及实例详解大数据
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送 Spark入门实战系列》获取 1、GraphX介绍 1.1 GraphX应用背景 Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。 众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微
日期 2023-06-12 10:48:40Spark入门实战系列–10.分布式内存文件系统Tachyon介绍及安装部署详解大数据
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送 Spark入门实战系列》获取 1、Tachyon介绍 1.1 Tachyon简介 随着实时计算的需求日益增多，分布式内存计算也持续升温，怎样将海量数据近乎实时地处理，或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的重点。近年来，内存的吞吐量成指数倍增长，而磁盘的吞吐量增长缓慢，那么将原有计算框架中文件落地磁
日期 2023-06-12 10:48:40
Spark项目之电商用户行为分析大数据平台之（十）IDEA项目搭建及工具类介绍详解大数据
1 import java.io.InputStream; 2 import java.util.Properties; 4 /** 5 * 配置管理组件 6 * 7 * 1、配置管理组件可以复杂，也可以很简单，对于简单的配置管理组件来说，只要开发一个类，可以在第一次访问它的 8 * 时候，就从对应的properties文件中，读取配置项，并提供外
日期 2023-06-12 10:48:40Spark项目之电商用户行为分析大数据平台之（七）数据调研–基本数据结构介绍详解大数据
date：日期，代表这个用户点击行为是在哪一天发生的user_id：代表这个点击行为是哪一个用户执行的session_id ：唯一标识了某个用户的一个访问sessionpage_id ：点击了某些商品/品类，也可能是搜索了某个关键词，然后进入了某个页面，页面的idaction_time ：这个点击行为发生的时间点search_keyword ：如果用户执行的是一个搜索行为，比如说在
日期 2023-06-12 10:48:40
Spark项目之电商用户行为分析大数据平台之（六）用户访问session分析模块介绍详解大数据
一、对用户访问session进行分析 1、可以根据使用者指定的某些条件，筛选出指定的一些用户（有特定年龄、职业、城市）； 2、对这些用户在指定日期范围内发起的session，进行聚合统计，比如，统计出访问时长在0~3s的session占总session数量的比例； 3、按时间比例，比如一天有24个小时，其中12:00~13:00的session数量占当天总session数量的50%，当天总s
日期 2023-06-12 10:48:40Spark项目之电商用户行为分析大数据平台之（一）项目介绍详解大数据
一、项目概述 本项目主要用于互联网电商企业中，使用Spark技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标
日期 2023-06-12 10:48:40Spark 介绍（基于内存计算的大数据并行计算框架）详解大数据
Hadoop与Spark 行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个简单的编程模型（MapReduce），它支持可扩展，灵活，容错和成本有效的计算解决方案。这里，主要关注的是在处理大型数据集时在查询之间的等待时间和运行程序的等待时间方面保持速度。 Spark由Apache Software Foundation引入，用于加速Hadoop计算软件过程。
日期 2023-06-12 10:48:40Spark2.0协同过滤与ALS算法介绍
ALS矩阵分解 一个 的打分矩阵 A 可以用两个小矩阵和的乘积来近似,描述一个人的喜好经常是在一个抽象的低维空间上进行的，并不需要把其喜欢的事物一一列出。再抽象一些，把人们的喜好和电影的特征都投到这个低维空间，一个人的喜好映射到了一个低维向量，一个电影的特征变成了纬度相同的向量，那么这个人和这个电影的相似度就可以表述成这两个向量之间的内积。我们把打分理解成相似度，那么“打分矩阵A(m*n)”就可
日期 2023-06-12 10:48:40Spark集群管理器介绍
Spark可以运行在各种集群管理器上，并通过集群管理器访问集群中的其他机器。 Spark主要有三种集群管理器，如果只是想让spark运行起来，可以采用spark自带的独立集群管理器，采用独立部署的模式；如果是想让Spark部署在其他集群上，各应用共享集群的话，可以采取两 Spark可以运行在各种集群管理器上，并通过集群管理器访问集群中的其他机器。Spark主要有三种集群管理器，如果只是想让s
日期 2023-06-12 10:48:40Spark概念介绍
spark应用程序在集群中以一系列独立的线程运行，通过驱动器程序(Driver Program)发起一系列的并行操作 Spark概念介绍：spark应用程序在集群中以一系列独立的线程运行，通过驱动器程序(Driver Program)发起一系列的并行操作。SparkContext对象作为中间的连接对象，通过SparkContext对象连接集群。SparkContext对象可以连接集群管理器(Y
日期 2023-06-12 10:48:40SPARKR，对RDD操作的介绍
（转载）SPARKR，对RDD操作的介绍 原以为，用sparkR不能做map操作， 搜了搜发现可以。 lapply等同于map, 但是不能操作spark RDD. spark2.0以后， sparkR增加了 dapply， dapplycollect 可以操作spark RDD. 原文地址： http://www.2cto.com/kf/2016
日期 2023-06-12 10:48:40sparkR介绍及安装
sparkR介绍及安装 SparkR是AMPLab发布的一个R开发包，为Apache Spark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集（RDD）的API，用户可以在集群上通过R shell交互性的运行job。例如，我们可以在HDFS上读取或写入文件，也可以使用 lapply 来定义对应每一个RDD元素的运算。 1 2 3 sc <- spark
日期 2023-06-12 10:48:40Spark修炼之道（基础篇）——Linux大数据开发基础：第一节、Linux介绍、安装及使用初步
要讲述大名鼎鼎的Linux，必然要先从UNIX系统谈起，下面这幅图给出了Unix系统的进化图： 图片来源：http://baike.baidu.com/link?url=QfoqWtWGs-BjpnfEy_AUk7Bm3XHuf6JbN92HCOoUBfFfj8BuSDkbwmldtmUEmGRDUwqsQMIV4jCKHvdkSPr3Lq 从进化图中可以看到，目前所有的主流操作系统都源自U
日期 2023-06-12 10:48:40spark-jobserver介绍： 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job contexts
spark-jobserver Spark-jobserver 提供了一个 RESTful 接口来提交和管理 spark 的 jobs、jars 和 job contexts。这个项目包含了完整的 Spark job ser
日期 2023-06-12 10:48:40Spark MLlib介绍
Spark MLlib介绍 Spark之所以在机器学习方面具有得天独厚的优势，有以下几点原因： （1）机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止，迭代时如果使用Hadoop的MapReduce计算框架，每次计算都要读/写磁盘以及任务的启动等工作，这回导致非常大的I/O和CPU消耗。而Spark基于内存的计算模型天生就擅长迭代计
日期 2023-06-12 10:48:40三个大数据处理框架：Storm，Spark和Samza 介绍比较
转自：http://www.open-open.com/lib/view/open1426065900123.html 许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在Storm中， 先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑
日期 2023-06-12 10:48:40SparkSQL概念介绍
Spark SQL：将sql转换成spark任务 1、Spark SQL：主要处理结构化的数据 通常工业界，需要将非结构化数据转成结构化数据，然后再进一步计算和处理 2、Hive存储数据有几个层次：
日期 2023-06-12 10:48:40Apache Spark 1.5新特性介绍
Apache Spark社区刚刚发布了1.5版本,大家一定想知道这个版本的主要变化,这篇文章告诉你答案。 DataFrame执行后端优化(Tungsten第一阶段) DataFrame可以说是整个Spark项目最核心的部分,在1.5这个开发周期内最大的变化就是Tungsten项目的第一阶段已经完成。主要的变化是由Spark自己来管理内存而不是使用JVM,这样可以避免JVM GC带来的性能损失。
日期 2023-06-12 10:48:40