zl程序教程

您现在的位置是:首页 >  其他

当前栏目

大叔经验分享(134)hive读取gzip文件乱码

文件 分享 读取 乱码 经验 hive gzip 大叔
2023-09-14 09:00:07 时间

背景

hive读取纯文本数据,无论是:原始格式、gzip、bzip,都可以自动识别,不需要修改建表语句或修改setting。
但是使用gobblin开启gzip压缩之后保存文件使用hive读取发生乱码。

定位

首先怀疑是文件损坏

gobblin开启压缩之后写的文件为:*.txt.gzip,将该文件下载到本地,使用gzip命令可以正常解压,排除。

其次怀疑是gzip版本之间不兼容

即gobblin写gzip和hive读gzip版本不兼容,查看gobblin写文件的代码,发现使用的是

java.util.zip.GZIPOutputStream

和hive读取使用都是jdk的jar包,排除。

最后怀疑是hive对gzip格式识别有问题

查看hive读取文件的代码发现是根据硬编码的 gz 后缀来识别gzip格式,将gzip后缀改为gz后缀后,hive读取正常,找到原因。