Hive学习之路 (八)Hive中文乱码详解大数据
2023-06-13 09:20:25 时间
Hive注释中文乱码
创建表的时候,comment说明字段包含中文,表成功创建成功之后,中文说明显示乱码
create external table movie( userID int comment 用户ID, movieID int comment 电影ID, rating int comment 电影评分, timestamped bigint comment 评分时间戳, movieName string comment 电影名字, movieType string comment 电影类型, sex string comment 性别, age int comment 年龄, occupation string comment 职业, zipcode string comment 邮政编码 ) comment 影评三表合一 row format delimited fields terminated by "," location /hive/movie;
这是因为在MySQL中的元数据出现乱码
针对元数据库metastore中的表,分区,视图的编码设置因为我们知道 metastore 支持数据库级别,表级别的字符集是 latin1
那么我们只需要把相应注释的地方的字符集由 latin1 改成 utf-8,就可以了。用到注释的就三个地方,表、分区、视图。如下修改分为两个步骤:
1、进入数据库 Metastore 中执行以下 5 条 SQL 语句 (1)修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;(2)修改分区字段注解
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ; alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;(3)修改索引注解
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;2、修改 metastore 的连接 URL
修改hive-site.xml配置文件
property name javax.jdo.option.ConnectionURL /name value jdbc:mysql://IP:3306/db_name?createDatabaseIfNotExist=true amp;useUnicode=true characterEncoding=UTF-8 /value description JDBC connect string for a JDBC metastore /description /property
做完可以解决乱码问题
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/8997.html
分布式文件系统,分布式数据库区块链并行处理(MPP)数据库,数据挖掘开源大数据平台数据中台数据分析数据开发数据治理数据湖数据采集相关文章
- VSCode 使用教程-2.设置成中文
- Photoshop 2023 for mac(PS 2023)v24.0.0中文激活版
- AiTrust下预训练和小样本学习在中文医疗信息处理挑战榜CBLUE表现
- Auto CAD 2019中文完整版安装教程(32/64位)-cad软件全版本下载地址
- ChatGPT全球最大开源平替:回复更受欢迎,但中文对话一塌糊涂
- Pandas 学习手册中文第二版:11~15
- Pandas 学习手册中文第二版:6~10
- 如何在ubuntu18.04中设置使用中文输入法的使用
- 中文带中文的 Oracle 查询字段详解(oracle查询字段包含)
- 25字中文文章标题:MySQL学习指南:从入门到精通(如何学习mysql)
- 25字中文文章标题:深入学习Linux GDB命令(linuxgdb命令)
- MySQL5.7中文手册:全面学习MySQL数据库知识的必备指南!(mysql5.7中文手册)
- 25字中文标题:Linux内核学习入门攻略(linux内核学习入门)
- 25字中文文章标题:学习 Linux Vi:编辑器中必学的基本用法(linuxvi用法)
- Linux网络配置命令25字中文文章标题:学习Linux网络命令(附配置教程)(linux配置网络命令)
- MySQL安装与简易中文操作入门(mysql 中文安装版)
- MySQL数据库不支持中文字符输入(mysql不允许输入中文)
- Oracle中文校验确保数据完整性(oracle中文校验)
- Oracle中文变量名使用指南(oracle中文变量名)
- 数Oracle数据库中文占字节数一窥数据宝库(oracle中文占字节)
- PHP学习散记_编码(json_encode中文不显示)
- nginxstatus状态页配置方法和中文说明