Hbase预分区种子生成
HBase 生成 分区 种子
2023-09-27 14:19:38 时间
提前生成Hbase预分区种子,在创建Hbase表时也进行相应的预分区,同时设置预分区的个数,预分区的范围对应Hbase监控页面的Region Server的start key与End key,从而使数据能够均匀的分布于各个Region中。
private static final String[] PARTITIONS = generatPartitionSeed();
//生成3844个分区种子
public static String[] generatPartitionSeed(){
List<Character>seeds = List.newArrayList();
for(int i='0';i<='9';i++){
seeds.add((char) i);
}
for(int i = 'A';i<='Z';i++){
seeds.add((char) i);
}
for(int i = 'a';i<='z';i++){
seeds.add((char) i);
}
int k = 0;
//获得总共的分区个数
String[] partions = new String[seeds.size()*seeds.get(j));
for(int i =0;i<seeds.size();i++){
for(int j=0;j<seeds.size();j++){
//两两组合成为分区start key
partions[k] = StringUtil.join(seeds.get(i),seeds.get(j));
k++;
}
}
return partions;
}
//按指定数量生成分区种子
public static String[] generatPartitionSeed(int limit){
int size = PARTITIONS.length;
int[] space = new int[limit];
for(int pt = 0;pt<size;){
for(int j=0;j<space.length;j++){
++space[j];
pt++;
if(pt == size){
break;
}
}
}
String[] seed = new String[limit+1];
int position = 0;
for(int i =0;i<space.length;i++){
seed[i] = PARTITIONS[position];
position += space[i];
}
seed[seed.length -1] = PARTITIONS[PARTITIONS.length -1];
return seed;
}
//生成后的rowkey
public static String generatRow(String str){
int i = Math.abs(str.hashCode() % PARTITION.length);
return StringUtils.join(PARTITIONS[i],"-",str);
}
public static void main(String[] args){
String[] arr = generatPartitionSeed(100);
for(int i = 0;i<arr.length;i++){
System.out.println(arr[i]);
}
}
相关文章
- kylin: build cube Hbase: Region Server 意外退出
- HBase之disable+drop删除表疑点解惑
- HBase内部操作日志说明
- HBase thrift/thrift2 使用指南
- HBase ElasticSearch
- MapReduce生成HFile入库到HBase
- LSM树由来、设计思想以及应用到HBase的索引
- HBase学习系列
- HBase(八)HBase的协处理器
- Hbase数据模型概念视图
- 大数据学习——hbase的shell客户端基本使用
- Zookeeper的作用,在Hadoop及hbase中具体作用
- CentOS 安装 hadoop hbase 使用 cloudera 版本。(一)