HBase 2.X版本的元数据修复及一种数据迁移方式
2023-09-14 09:02:04 时间
新集群清理及数据迁移
看完上面的元数据恢复,应该就知道接下来的这种HBase数据迁移方式的原理:通过拷贝数据目录,让HBase元数据与业务数据目录重新建立关系,达到业务正常读写。
下面例子只考虑用户使用default命名空间
-
拷贝旧集群的HBase数据目录到新集群,将旧集群的/hbase/data/default目录拷贝到了hdfs上的/mydata/目录;
-
如果新集群数据不需要清理,则跳过此步骤
停止HBase
清除HBase在数据存储目录,hdfs dfs -rm -r /hbase
清除HBase在zk的节点,使用ZK客户端工具zkCli.sh –server :2181 进入后执行deleteall /hbase
启动HBase,让目录结构自动生成
- 保持HBase集群停止状态,拷贝旧机器数据目录到新集群HBase的数据目录中;
hdfs dfs -cp /mydata/default/* /hbase/data/default/
-
执行hbase修复命令hbase org.apache.hadoop.hbase.util.hbck.OfflineMetaRepair –fix
-
设置hbase.assignment.skip.empty.regions=false并启动HBase
运行完上述步骤,在新的集群就能对迁移过来的HBase进行业务访问了。
参考链接:https://zhuanlan.zhihu.com/p/267268541?utm_source=ZHShareTargetIDMore
相关文章
- HBase集群服务端replication CallQueue被打满
- HBase常见面试题[通俗易懂]
- hbase面试题整理
- Hbase 整理
- HBase单机实现主主复制(高可用方案)
- Hive和Hbase集成及互相操作
- 使用Python3操作HBase的两种方法
- HBase 快速入门(安装和命令操作)
- HBase API
- HBase核心知识点总结详解大数据
- HBase学习之路 (五)MapReduce操作Hbase详解大数据
- hbase错误:Org.apache.hadoop.ipc.RemoteException:User:client is not allowed to impersonate root详解大数据
- HBase-1.2.1之HRegionServer启动源码学习详解大数据
- 解决客户端通过zookeeper连接到hbase时连接过多的问题详解大数据
- HBase存储剖析与数据迁移详解大数据
- MySQL数据导入HBase:构建NoSQL数据库(mysql导入hbase)
- 比较两者:HBase vs MySQL(hbase和mysql)
- 如何在Linux上启动HBase?(linux启动hbase)
- hbase数据迁移至oracle的实践之旅(hbase转oracle)
- 整合完美HBase与Oracle的联姻(hbase加oracle)
- Apache HBase MTTR 优化实践:减少恢复时长
- 谷歌 HBaseCon West 2017 大数据研讨会开幕在即,搞 Apache HBase 的开发者不可错过