zl程序教程

您现在的位置是:首页 >  数据库

当前栏目

HBase 2.X版本的元数据修复及一种数据迁移方式

HBase迁移数据 修复 方式 版本 一种
2023-09-14 09:02:04 时间

新集群清理及数据迁移
看完上面的元数据恢复,应该就知道接下来的这种HBase数据迁移方式的原理:通过拷贝数据目录,让HBase元数据与业务数据目录重新建立关系,达到业务正常读写。

下面例子只考虑用户使用default命名空间

  1. 拷贝旧集群的HBase数据目录到新集群,将旧集群的/hbase/data/default目录拷贝到了hdfs上的/mydata/目录;

  2. 如果新集群数据不需要清理,则跳过此步骤

停止HBase

清除HBase在数据存储目录,hdfs dfs -rm -r /hbase

清除HBase在zk的节点,使用ZK客户端工具zkCli.sh –server :2181 进入后执行deleteall /hbase

启动HBase,让目录结构自动生成

  1. 保持HBase集群停止状态,拷贝旧机器数据目录到新集群HBase的数据目录中;

hdfs dfs -cp /mydata/default/* /hbase/data/default/

  1. 执行hbase修复命令hbase org.apache.hadoop.hbase.util.hbck.OfflineMetaRepair –fix

  2. 设置hbase.assignment.skip.empty.regions=false并启动HBase

运行完上述步骤,在新的集群就能对迁移过来的HBase进行业务访问了。

参考链接:https://zhuanlan.zhihu.com/p/267268541?utm_source=ZHShareTargetIDMore