hbase结合hive和sqoop实现数据指导mysql
2023-09-11 14:21:01 时间
hive综合hbase两个优势表中的:
1.实现数据导入到MYSQL。
2.实现hbase表转换为另外一张hbase表。
三个操作环节:
1.hbase关联hive作为外部表:
2.hbase真正关联hive,hive的插入更新等操作直接影响hbase中的数据
3.创建一张hive表
4.外部表数据导入hive实表
5.sqoop导出hive的数据到mysql
6.habse(关联hive)中一张表转到另外一张表当然能够利用hive的内置函数实现数据处理
导出hbase中数据到mysql须要经过步骤:1345
hbase在一个表到另一个表(中间可以使用hive用于数据处理的内置函数):226
1.实现数据导入到MYSQL。
2.实现hbase表转换为另外一张hbase表。
三个操作环节:
1.hbase关联hive作为外部表:
- CREATE EXTERNAL TABLE hive_device_app(row_key string,genera_type string,install_type string,label string,meid string,model string,pkg_name string,specific_type string)
- STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
- WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:genera_type,cf:install_type,cf:label,cf:meid,cf:model,cf:pkg_name,cf:specific_type")
- TBLPROPERTIES("hbase.table.name" = "tb_yl_device_app_info1");
2.hbase真正关联hive,hive的插入更新等操作直接影响hbase中的数据
- CREATE TABLE hbase_device_app(row_key string,genera_type string,install_type string,label string,meid string,model string,pkg_name string,specific_type string)
- STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
- WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:genera_type,cf:install_type,cf:label,cf:meid,cf:model,cf:pkg_name,cf:specific_type")
- TBLPROPERTIES("hbase.table.name" = "tb_yl_device_app_info2");
3.创建一张hive表
- CREATE TABLE hive_device_app_real(row_key string,genera_type string,install_type string,label string,meid string,model string,pkg_name string,specific_type string)
4.外部表数据导入hive实表
- insert overwrite table hive_device_app_real select * from hive_device_app
5.sqoop导出hive的数据到mysql
- sqoop export --connect jdbc:mysql://Hadoop48/toplists -m 1 --table hive_device_app_real --export-dir /user/hive/warehouse/hive_device_app_real/000000_0 --input-null-string "\\\\N" --input-null-non-string "\\\\N" --input-fields-terminated-by "\\01" --input-lines-terminated-by "\\n"
6.habse(关联hive)中一张表转到另外一张表当然能够利用hive的内置函数实现数据处理
- insert overwrite table another_hive_hbase_related_table select * from hbase_device_app
导出hbase中数据到mysql须要经过步骤:1345
hbase在一个表到另一个表(中间可以使用hive用于数据处理的内置函数):226
相关文章
- Mysql授权允许远程访问解决Navicat for MySQL连接mysql提示客户端不支持服务器请求的身份验证协议;考虑升级MySQL客户端
- mysql-介绍、MySQL部署、数据类型、存储引擎
- 磁盘爆满导致MySQL无法启动:Disk is full writing './mysql-bin.~rec~' (Errcode: 28). Waiting for someone to free space...
- Mysql常用语法
- Mysql一个非常有用的内置函数今天碰到要把MySQL数据库中的varchar转换成date类型进
- Hbase 学习(四) hbase客户端设置缓存优化查询
- mysql之通过cmd连接远程数据库
- 数据库内核月报 - 2015 / 09-MySQL · 特性分析 · 5.6并行复制事件分发机制
- PHP连接MySQL数据库的三种方式(mysql、mysqli、pdo)
- 启动HBase抛出org.apache.hadoop.hbase.ClockOutOfSyncException异常:hmaster正常,节点hregionserver启动失败
- MySQL用户权限(Host,User,Password)管理(mysql.user)
- SQL Editor and reconnect【mysql(workbench)更新数据时候的一个异常】【Error Code:1175】
- mysql事务 mysql事务回滚 MySQL事务死锁 如何解除死锁 资金出入账
- ERROR 3009 (HY000): Column count of mysql.user is wrong. Expected 45, found 43. Created with MySQL 5
- 常用Mysql或者PostGresql或者Greenplum的语句总结。
- centos 6/7 mysql 5.7 修改root密码 mysql root密码找回
- mysql_18 _ 为什么这些SQL语句逻辑相同,性能却差异巨大
- 如何实现MySQL表数据随机读取?从mysql表中读取随机数据
- MySQL_08_在编写SQL语句层面优化速度
- [ MySQL ] Linux下安装MySQL的五种方法及问题排查(基于RPM离线安装和yum方式安装)