48 Hive创建表
创建 hive 48
2023-09-11 14:15:40 时间
建表语法
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format]
[LOCATION hdfs_path]
1、CREATE TABLE
创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用IF NOT EXISTS
选项来忽略这个异常。
2、EXTERNAL
关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION
),Hive 创建内部表时,会将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。在删除表的时候,内部表的元数据和数据会被一起删除,而外部表只删除元数据,不删除数据。
3、LIKE
允许用户复制现有的表结构,但是不复制数据。
4、用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDe,Hive通过 SerDe 确定表的具体的列的数据。
ROW FORMAT
DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
| SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]
5、如果文件数据是纯文本,可以使用 STORED AS TEXTFILE
。如果数据需要压缩,使用 STORED AS SEQUENCEFILE
。
STORED AS
SEQUENCEFILE|TEXTFILE|RCFILE
6、CLUSTERED BY
对于每一个表(table)或者分区, Hive可以进一步组织成桶,也就是说桶是更为细粒度的数据范围划分。Hive也是 针对某一列进行桶的组织。Hive采用对列值哈希,然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。 把表(或者分区)组织成桶(Bucket)有两个理由:
- 获得更高的查询处理效率。桶为表加上了额外的结构,Hive 在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 Map 端连接 (Map-side join)高效的实现。比如JOIN操作。对于JOIN操作两个表有一个相同的列,如果对这两个表都进行了桶操作。那么将保存相同列值的桶进行JOIN操作就可以,可以大大较少JOIN的数据量。
- 使取样(sampling)更高效。在处理大规模数据集时,在开发和修改查询的阶段,如果能在数据集的一小部分数据上试运行查询,会带来很多方便。
具体实例
1、创建内部表mytable
2、创建外部表pageview
3、创建分区表invites
create table student_p(Sno int,Sname string,Sex string,Sage int,Sdept string) partitioned by(part string) row format delimited fields terminated by ','stored as textfile;
4、创建带桶的表student
相关文章
- IOS基础学习日志(七)利用dispatch_once创建单例及使用
- 创建触发器(trigger)
- Simulink 快速入门(二)--创建简单模型
- Google Earth Engine(GEE)——影像集合创建、添加多波段影像和合成
- Oracle数据库:序列sequence的创建,查询,修改,删除,increment by,start with等关键字
- 深入浅出 gRPC 02:gRPC 客户端创建和调用原理
- oracle数据库创建实例
- Bundle文件的创建和使用(一)
- 调用华为创建游戏存档接口时,页面上方不停地弹出登录欢迎栏
- .NET Core创建一个控制台(Console)程序
- 超详细!mac flutter 创建过程及遇到的问题
- SwiftUI进阶之 02 创建界面的三个思路 (《代码大全》学习笔记)
- Git_创建标签
- 如何创建自动化功能测试的基本原则
- Hive创建外部表以及分区
- VS2010/MFC编程入门之六(对话框:创建对话框模板和修改对话框属性)
- 【大数据HIVE】Hive 编译遇到Protobuf 2.5 不支持的问题
- CAD图块怎么创建?CAD创建图块教程
- MySQL 快速创建测试数据库
- Eclispe创建maven工程缺失web.xml报web.xml is missing and <failOnMissingWebXml> is set to true的错误