Spark SQL
SparkSql源码成神之路
快来加入我的源码学习社群吧，在社群的长期陪伴下，解决你在学习路上遇到的点点滴滴的问题~~底层原理搞清楚，专业技术能力的提升直接开挂！！！俺的招牌照片 这篇主要介绍一下，sparksql源码精读实训的内容，分三部分——【硬核】基础内容（内容比较多，在下面单独介绍）：主要用来打基本功，包括源码环境安装、测试类编写、sparksql解析的整个流程中的每一步的精读，精读过程中贯穿scala基础语法、调试技
日期 2023-06-12 10:48:40
SparkSql中多个Stage的并发执行
写一篇水水的技术文，总结一下sparksql中不同stage的并行执行相关，也是来自于一位群友的提问：我们群里有很多技术很棒并且很热心的大佬，哈哈~ Hive中Job并发执行hive中，同一sql里，如果涉及到多个job，默认情况下，每个job是顺序执行的。但如果某些job没有前后依赖关系的话，是阔以并行执行的，这样可能使得整个job的执行时间缩短。可以通过设置参数 set hive.exec.p
日期 2023-06-12 10:48:40
SparkSql数组操作的N种骚气用法
最近业务侧花样提需求，里面涉及到了各种数组的切片、合并、去重、拼接、压平等操作，本来以为需要自己开发很多udf才可以，后来扒了一下源码，发现这些用法sparksql已经帮我们实现了呀~~ 太了不起了，我承认是我见识短了，所以就有了这篇......总结一下sparksql（基于branch3.3） 中 array操作相关的骚气用法，这恐怕是总结的最全的一篇了，哈哈~~从源码里看到，array相关函
日期 2023-06-12 10:48:40SparkSql序列化时列的ID是在哪里生成的呢？
面向群友写文，哈哈有点抽象，但群友们一定知道我在写什么（原谅我，喜欢晒截图）分享课上没有trace详细代码，这篇顺一下这块的代码。sparksql生成解析后的逻辑执行计划时，会通过catalog把各个字段和元数据库绑定，也就说在ResolveLogical的阶段的字段是带了id的：SELECT A,B FROM TESTDATA2 == Parsed Logical Plan ==
日期 2023-06-12 10:48:40
sparkSQL实例_flink sql
大家好，又见面了，我是你们的朋友全栈君。文章目录需求说明代码分析调优总结记一次SparkSql ETL 过程需求说明1）input：json日志 2）ETL：根据IP解析出 省份，城市 3）stat: 地区分布指标计算， 满足条件的才算，满足条件的赋值为1，不满足的赋值为0 （如下图） 将统计结果写入MySQL中。 （就比如说这个广告请求要满足 requestmode=1 和 proce
日期 2023-06-12 10:48:40Spark SQL增量查询Hudi表
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住给大家分享一下。点击跳转到网站：https://www.captainai.net/dongkelun前言由于项目上主要用Hive查询Hudi，所以之前总结过一篇:Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总
日期 2023-06-12 10:48:40
Spark SQL实战(07)-Data Sources
1 概述Spark SQL通过DataFrame接口支持对多种数据源进行操作。DataFrame可使用关系型变换进行操作，也可用于创建临时视图。将DataFrame注册为临时视图可以让你对其数据运行SQL查询。本节介绍使用Spark数据源加载和保存数据的一般方法，并进一步介绍可用于内置数据源的特定选项。数据源关键操作：loadsave2 大数据作业基本流程input 业务逻辑 output 不管
日期 2023-06-12 10:48:40Spark-Sql源码解析之五 Spark Planner：optimized logical plan –> spark plan详解大数据
前面描述的主要是逻辑计划，即sql如何被解析成logicalplan，以及logicalplan如何被analyzer以及optimzer，接下来主要介绍逻辑计划如何被翻译成物理计划，即SparkPlan。 lazy val sparkPlan: SparkPlan = { SparkPlan.currentContext.set(self) planner.plan(optimiz
日期 2023-06-12 10:48:40
MySQL Sparks Innovation: Latest News Unveils Exciting Content（mysql新闻内容）
Innovation is a cornerstone of the tech industry. It’s no wonder then that people have been eagerly awaiting news of the latest breakthroughs and developments in MySQL. As one of the most popular dat
日期 2023-06-12 10:48:40Spark SQL中的DataFrame
在2014年7月1日的 Spark Summit 上，Databricks 宣布终止对 Shark 的开发，将重点放到 Spark SQL 上。在会议上，Databricks 表示，Shark 更多是对 Hive 的改造，替换了 Hive 的物理执行引擎，因此会有一个很快的速度。然而，不容忽视的是，Shark 继承了大量的 Hive 代码，因此给优化和维护带来了大量的麻烦。随着性能优化和先进分析整
日期 2023-06-12 10:48:40hive on spark VS SparkSQL VS hive on tez
http://blog.csdn.net/wtq1993/article/details/52435563 http://blog.csdn.net/yeruby/article/details/51448188 hive on spark VS SparkSQL VS hive on tez 前一篇已经弄好了SparkSQL，SparkSQL也有thri
日期 2023-06-12 10:48:40Apache CarbonData 2.0 开发实用系列之一：与Spark SQL集成使用
【摘要】 在Spark SQL中使用CarbonData 【准备CarbonData】 在浏览器地址栏输入以下链接,点击"download"按钮下载已经准备好的CarbonData jar包 链接：https://github.com/QiangCai/carbonjars/blob/master/m
日期 2023-06-12 10:48:40Spark读取MySQL优化设置
Spark读取MySQL优化设置： 参考：https://blog.csdn.net/bowenlaw/article/details/108076772 参考官方文档： http://spark.apache.org/docs/2.4.8/sql-data-sources-jdbc.html
日期 2023-06-12 10:48:40Spark SQL性能优化
针对Spark SQL 性能调优参数如下： import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.api.java.JavaSQLContext; import or
日期 2023-06-12 10:48:40大叔经验分享（23）spark sql插入表时的文件个数研究
spark sql执行insert overwrite table时，写到新表或者新分区的文件个数，有可能是200个，也有可能是任意个，为什么会有这种差别？ 首先看一下spark sql执行insert overwrite table流程： 1 创建临时目录，比如 .hive-staging_hive_2018-06-23_00-39-39_825_3122897139441535352-2
日期 2023-06-12 10:48:40大叔经验分享（15）spark sql limit实现原理
之前讨论过hive中limit的实现，详见 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的实现，首先看执行计划： spark-sql> explain select * from test1 limit 10;== Physical Plan ==CollectLimit 10+- HiveTab
日期 2023-06-12 10:48:40大叔经验分享（12）如何程序化kill提交到spark thrift上的sql
spark 2.1.1 hive正在执行中的sql可以很容易的中止，因为可以从console输出中拿到当前在yarn上的application id，然后就可以kill任务， WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider u
日期 2023-06-12 10:48:40Spark修炼之道（高级篇）——Spark源码阅读：第十三节 Spark SQL之SQLContext（一)
SQLContext是Spark SQL进行结构化数据处理的入口，可以通过它进行DataFrame的创建及SQL的执行，其创建方式如下： def this(sparkContext: SparkContext) = { this(sparkContext, new CacheManager, SQLContext.createListenerAndUI(sparkContext), true
日期 2023-06-12 10:48:40Spark修炼之道（进阶篇）——Spark入门到精通：第八节 Spark SQL与DataFrame（一)
Spark SQL是Spark的五大核心模块之一，用于在Spark平台之上处理结构化数据，利用Spark SQL可以构建大数据平台上的数据仓库，它具有如下特点： （1）能够无缝地将SQL语句集成到Spark应用程序当中 （2）统一的数据访问方式 DataFrames and SQL provide a common way to access a variety of data sou
日期 2023-06-12 10:48:40Spark 如何写入HBase/Redis/MySQL/Kafka
一个partition 对应一个task,一个task 必定存在于一个Executor,一个Executor 对应一个JVM. Task 里如何使用Kafka Producer 将数据发送到Kafaka呢。 其他譬如HBase/Redis/MySQL 也是如此。 直观的解决方案自然是能够在Executor(JVM)里有个Prodcuer Pool（或者共享单个Producer实例），但是我们的
日期 2023-06-12 10:48:40Apache Spark源码走读（七）Standalone部署方式分析&sql的解析与执行
在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。 没有HA的Standalone运行模式 先从比较简单的说起，所谓的没有ha是指master节点没有ha。 组成cluster的两大元素即
日期 2023-06-12 10:48:40Sparkstreaming读取Kafka消息再结合SparkSQL，将结果保存到HBase
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableOutputFormat import org.apache.spark.SparkConf import org.apache.spark.sql._ import org.apache.spark
日期 2023-06-12 10:48:40SparkSQL操作Hive
title: SparkSQL操作Hive date: 2020-05-12 16:12:55 tags: Spark Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQ
日期 2023-06-12 10:48:40Spark SQL JOIN操作代码示例
title: Spark SQL JOIN操作 date: 2021-05-08 15:53:21 tags: Spark 本文主要介绍 Spark SQL 的多表连接，需要预先准备测试数据。分别创
日期 2023-06-12 10:48:40大数据不就是写sql吗？—— Hive：把sql解析后用MapReduce跑 SparkSQL：把sql解析后用Spark跑，比hive快点 Drill/Impala/Presto：交互式查询OLAP Druid/Kylin：强调预计算，同样是OLAP
应届生小祖参加了个需求分析会回来后跟我说被产品怼了一句： "不就是写SQL吗，要那么久吗" 我去，欺负我小弟，这我肯定不能忍呀，于是我写了一篇文章发在了公司的wiki： 贴出来给大家看看，省略了一些敏感的内容。 当然内部版言辞也会温和一点，嘻嘻 在哪里写SQL？ 这个问题高级点的问法是用哪种SQL引擎？ Spark
日期 2023-06-12 10:48:40sparkSQL原理和使用——一般在生产中，基本都是使用hive做数据仓库存储数据，然后用spark从hive读取数据进行处理
一、spark SQL概述 1.1 什么是spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。类似于hive的作用。 1.2 spark SQL的特点 1、容易集成：安装Spark的时候，已经集成好了。不需要单独安装。2、统一的数据访问方式：JDBC、JSON、Hive、parque
日期 2023-06-12 10:48:40SparkSQL实践
SparkSQL实战：统计用户及商品数据指标，包含以下三张表 orders表： product表： prior表： 实现以下业务需求： 1.统计product被购买的数量：
日期 2023-06-12 10:48:40FlinkSQL+HDFS+Hive+SparkSQL实现业务数据增量进入数据仓库
目录 0. 相关文章链接 1. 为什么要实现将业务数据实时写入到数据仓库中 2. 架构设计 3. FlinkSQL将binlog写入到HDFS中 4. 创建增量外部表（binlog表） 5. 创建全量历史表 6. 创建Spoop任务同步商品表数据 7. 历史数据和增量数据合并 8. Java的nanoTime(
日期 2023-06-12 10:48:40整理对Spark SQL的理解
CatalystCatalyst是与Spark解耦的一个独立库，是一个impl-free的运行计划的生成和优化框架。眼下与Spark Core还是耦合的。对此user邮件组里有人对此提出疑问，见mail。 以下是Catalyst较早时候的架构图，展示的是代码结构和处理流程。Catalyst定位其它系统假设想基于Spark做一些类sql、标准sql甚至其它查询语言的查询，须要基于Cat
日期 2023-06-12 10:48:40201 Spark SQL查询程序
前面我们学习了如何在Spark Shell中使用SQL完成查询，现在我们来实现在自定义的程序中编写Spark SQL查询程序。 首先在maven项目的pom.xml中添加Spark SQL的依赖: <
日期 2023-06-12 10:48:40《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南（二）
如果不能事先通过case class定义schema（例如，记录的字段结构是保存在一个字符串，或者其他文本数据集中，需要先解析，又或者字段对不同用户有所不同），那么你可能需要按以下三个步骤，以编程方式的创建一个DataFrame： 从已有的RDD创建一个包含Row对象的RDD 用StructType创建一个schema，和步骤1中创建的RDD的结构相匹配 把得到的schema应用于包含Row
日期 2023-06-12 10:48:40