spark SQL和hive到底什么关系
2023-09-11 14:18:05 时间
Hive是一种基bai于duHDFS的数据仓库,并且提供了基于SQL模型的,针对存储了大数zhi据的数据仓库,进行分布式dao交互查询的查询引擎。
SparkSQL并不能完全替代Hive,它替代的是Hive的查询引擎,SparkSQL由于其底层基于Spark自身的基于内存的特点,因此速度是Hive查询引擎的数倍以上,Spark本身是不提供存储的,所以不可能替代Hive作为数据仓库的这个功能。
SparkSQL相较于Hive的另外一个优点,是支持大量不同的数据源,包括hive、json、parquet、jdbc等等。SparkSQL由于身处Spark技术堆栈内,基于RDD来工作,因此可以与Spark的其他组件无缝整合使用,配合起来实现许多复杂的功能。比如SparkSQL支持可以直接针对hdfs文件执行sql语句。
相关文章
- SQL Server2016 原生支持JSON
- Sql server在另一台服务器,在Visual Studio 中没问题,IIS中 提示“在与 SQL Server 建立连接时出现与网络相关的或特定于实例的错误。。。。”
- 解决开启SQL Server sql Always on Group 事务日志增大的问题
- Spark修改spark-shell启动LOGO
- 一则> ORA-00907: missing right parenthesis 错误处理,sql 表名 可以加as oracle表名不能加
- 第137章 SQL函数 TAN
- 196 Spark SQL概述
- 《Spark 官方文档》Spark SQL, DataFrames 以及 Datasets 编程指南(四)
- 解决bad SQL grammar []; nested exception is java.sql.SQLSyntaxErrorException: ORA-00911: 无效字符
- sql语言实践之自学SQL网(SQL Lesson8,9)
- PL/SQL DEVELOPER 导出表数 和 生成 执行快速 插入表的 sql
- sql server 小技巧(3) SQL Server 2012 数据库完整导出到SQL Azure (包括数据)
- MySQL Stored Procedure Prepared Statement (Dynamic SQL) Parameterized
- Mysql学习---SQL语言的四大分类
- [Oracle工程师手记] 利用 DBMS_SQLTUNE.report_sql_monitor 生成 SQL 语句的监控信息
- Spark SQL
- SQL Server SSPI handshake failed报错,sql server修改windows账户密码的影响,sql server订阅发布客户端访问一直报错
- sql server CDC报错:超出存储过程、函数、触发器的最大嵌套层数(最大层为32)
- java实现sql批量插入参数
- sql-常见的SQL优化
- MariaDB新增数据报错:SQL 错误 [1366] [22007]: (cIncorrect string value: ‘xE5xBCxA0xE4xB8x89‘ for column