Spark概述
Spark概述
Spark是快速和通用的大规模数据处理技术。特点：1. 速度执行mr作业程序在内存比hadoop(v<3.x)快100倍，磁盘快10倍Spark有DAG执行引擎，支持离散数据流和内存计算2.易于使用，支持java scala python R提供的80多种高级操作用于并行App，可以使用脚本语言进行交互式编程3.常规性：结合SQL，Streaming，和复杂计算4.可以到处运行Spark
日期 2023-06-12 10:48:40
spark概述与编程模型
lineage 血统 RDD wide and narrow dependencies 窄依赖每个 RDD partition最多被一个子RDD partirion依赖 /sbin（system binary)放的都是涉及系统管理的命令。有些系统里面，普通用户没有执行这些命令的权限。有些系统里面，普通用户的PATH不包括/sbin data.cache
日期 2023-06-12 10:48:40Spark入门，概述，部署，以及学习（Spark是一种快速、通用、可扩展的大数据分析引擎）
1：Spark的官方网址：http://spark.apache.org/ 1：Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spar
日期 2023-06-12 10:48:40Spark streaming 概述
Spark Streaming个人的定义: 将不同的数据源的数据经过Spark St reaming处理之后将结果输出到外部文件系统 特点: 低延时 能从错误中高效的恢复: fault-tolerant 能够运行在成百上千的
日期 2023-06-12 10:48:40
Spark MLlib概述
Spark MLlib概述 机器学习房价预测模型选型数据探索数据提取准备训练样本模型训练模型效果评估 机器学习 机器学习的过程 : 基于历史数据，机器会根据一定的算法ÿ
日期 2023-06-12 10:48:40Spark（5）：RDD概述
目录 0. 相关文章链接 1. 什么是RDD 2. RDD核心属性 3. 执行原理 0. 相关文章链接 Spark文章汇总 1. 什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代
日期 2023-06-12 10:48:40
Spark（1）：Spark概述
目录 0. 相关文章链接 1. Spark是什么 2. Spark and Hadoop 2.1. 时间上 2.2. 功能上 3. Spark or Hadoop 4. Spark核心模块 0. 相关文章链接 Spark文章汇总 1. Spark是什么 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
日期 2023-06-12 10:48:40
Spark-作业执行流程概述
Spark-作业执行流程概述 spark的作业和任务带哦度系统是其核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对底层到顶层的各个模块之间的调用和处理显的游刃有余。 相关术语 作业（job）：RDD中由行动操作所生成的一个或多个调度阶段 调度阶段（stage）：每个作业会因为RDD之间的依赖关系拆分成多组任务集合，称为调度阶段，也叫做任务集（TaskSet）。调度阶段的划分是
日期 2023-06-12 10:48:40197 Spark DataFrames概述
与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema。 同时&#
日期 2023-06-12 10:48:40196 Spark SQL概述
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 前面已经学习了Hive，它是将Hive SQL转换成
日期 2023-06-12 10:48:40
189 Spark Streaming概述
Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支
日期 2023-06-12 10:48:40182 Spark RDD概述
RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集
日期 2023-06-12 10:48:40深入理解Spark：核心思想与源码分析. 3.1 SparkContext概述
3.1 SparkContext概述 Spark Driver用于提交用户应用程序，实际可以看作Spark的客户端。了解Spark Driver的初始化，有助于读者理解用户应用程序在客户端的处理过程。 Spark Driver的初始化始终围绕着SparkContext的初始化。SparkContext可以算得上是所有Spark应用程序的发动机引擎，轿车要想跑起来，发动机首先要启动。Spark
日期 2023-06-12 10:48:40Apache Spark机器学习.1.1 Spark概述和技术优势
Spark机器学习简介 本章从机器学习和数据分析视角介绍Apache Spark，并讨论Spark中的机器学习计算处理技术。本章首先概括介绍Apache Spark，通过与MapReduce等计算平台进行比较，展示Spark在数据分析中的技术优势和特点。接着，讨论如下五个方面的内容： 机器学习算法与程序库 Spark RDD和DataFrame 机器学习框架 Spark pipeline
日期 2023-06-12 10:48:40《Spark与Hadoop大数据分析》一一2.1 Apache Hadoop概述
本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章，第2.1节,作者：文卡特·安卡姆（Venkat Ankam） 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.1 Apache Hadoop概述 Apache Hadoop 是一个软件框架，可以在具有数千个节点和 PB 级数据的大型集群上进行分布式处理。Apache Hadoop 集群可以使用故障率一般较高
日期 2023-06-12 10:48:40