【Hive|Spark】spark写入hive表存储格式问题
2023-04-18 16:25:12 时间
目录
一、问题描述
spark经过转化的DF/DS,存储hive的一般写法为:
DF.write.format("orc").mode(SaveMode.Append).saveAsTable("default.student")
1、如果hive本身不存在此表,则会在hive自动创建对应的表进行数据存储。
2、如果hive中存在此表,则就会分为两种情况进行考虑。
第一种情况:存在的student表是使用spark写入hive程序自动创建得到的,则这种情况下可以正常写入。
DF.write.format("orc").mode(SaveMode.Append).saveAsTable("default.student")
第二种情况:存在的student表是使用hive命令创建得到的,这种情况下会报错。
create table student(name string,sex string) stored as orc;
报错信息为:
The format of the existing table default.student is `HiveFileFormat`. It doesn't match the specified format `OrcFileFormat`.;
二、原因分析
1、报错信息分析
- The format of the existing table default.student is `HiveFileFormat`是说spark程序认为hive中使用命令创建的orc表,在它的眼中存储格式是HiveFileFormat。
- It doesn't match the specified format `OrcFileFormat` 是说spark程序中要存储的student的dataFram是OrcFileFormat格式,与hive中创建表的存储格式不匹配。
2、思考
为什么明明在hive中使用命令创建的student表就是orc格式,却和spark程序中要存储指定的orc格式不匹配呢?
3、结论
- 在hive中使用命令创建的任何存储格式的表,在spark程序看来都是HiveFileFormat格式的表。
- spark程序只认自己通过代码向hive创建各种存储格式的表并能与之对应匹配和存储数据。
- 对于使用hive命令创建过的表,spark对应匹配的指定格式统一为HiveFileFormat格式。
三、解决办法
对于hive命令已经创建过的任何存储格式的表,spark写入的时候统一使用如下写法:
DF.write.format("Hive").mode(SaveMode.Append).saveAsTable("default.student")
相关文章
- cmake和makefile区别和cmake指定编译器(cmake -G)
- fmt标准库
- (十一)测试规范
- windows环境下,搭建RTSP视频推流服务器
- C盘满了的解决方案
- Keil RTX 系统函数 定义
- Android Studio详细安装教程
- 专注于云软件安全的8种方法
- 多线程案例——单例模式(饿汉模式和懒汉模式)
- Win10 C盘 满 空间不足 清理
- QT开发学习4(远程调试 Qt 程序)
- C语言小游戏 - 猜凶手
- 万维网服务
- 更改C盘用户目录下的文件夹名称
- 分支选择结构
- TCP/IP协议栈之数据包如何穿越各层协议(绝对干货)
- jmeter-BeanShell预处理器与BeanShell后置处理器的使用
- OpenCore 黑苹果安装教程
- 题目:在C语言中,表达式23|2^5的值是()
- R语言:使用randomForestExplainer理解随机森林