Hbase 学习(一) hbase配置文件同步

最近在狂啃hadoop的书籍，这部《hbase：权威指南》就进入我的视野里面了，啃吧，因为是英文的书籍，有些个人理解不对的地方，欢迎各位拍砖。 HDFS和Hbase配置同步 hbase的配置中有一些和hdfs关联的配置，当hdfs中修改了，但是hbase中修改了，hbase中是不会知道的，比如dfs.replication，有时候我们想增加备份的数量，在hdfs中设置为5了，但是hbase中默认为3，这样hbase还是只保存3份。 那么有什么方法可以使他们的配置文件同步，有三种方法： （1）在hbase-env.sh的HBASE_CLASSPATH环境变量增加HADOOP_CONF_DIR。 （2）在${HBASE_HOME}/conf下放一份hadoop的配置文件hdfs-site.xml (or hadoop-site.xml)。 （3）直接在hbase-site.xml中添加。 从上述三种方法当中，目测是第一种方法比较靠谱，当然要同步配置文件还有别的方法，后续再进行介绍。 Hbase配置文件同步的脚本 以下这两个脚本都可以实现集群的hbase配置文件同步，第二个还带有删除之前配置文件的方法，用的时候注意一些。

#!/bin/bash 

# Rsyncs HBase files across all slaves. Must run on master. 

Assumes 

# all files are located in /usr/local 

if [ "$#" != "2" ]; then 

echo "usage: $(basename $0) dir-name ln-name " 

echo " example: $(basename $0) hbase-0.1 hbase" 

exit 1 

SRC_PATH="/usr/local/$1/conf/regionservers" 

for srv in $(cat $SRC_PATH); do 

echo "Sending command to $srv..."; 

rsync -vaz --exclude=logs/* /usr/local/$1 

$srv:/usr/local/ 

ssh $srv "rm -fR /usr/local/$2 ; ln -s /usr/local/$1 

/usr/local/$2" 

done 

echo "done."

另一个脚本，同样的功能，这个更简单些

#!/bin/bash 

# Rsyncs HBase config files across all region servers. Must 

run on master. 

for srv in $(cat /usr/local/hbase/conf/regionservers); do 

echo "Sending command to $srv..."; 

rsync -vaz --delete --exclude=logs/* /usr/local/hadoop/ 

$srv:/usr/local/hadoop/ 

rsync -vaz --delete --exclude=logs/* /usr/local/hbase/ 

$srv:/usr/local/hbase/ 

done 

echo "done."

HBase Filter 过滤器之 Comparator 原理及源码学习 HBase所有的比较器实现类都继承于父类ByteArrayComparable，而ByteArrayComparable又实现了Comparable接口；不同功能的比较器差别在于对父类compareTo()方法的重写逻辑不同。 下面分别对HBase Filter默认实现的七大比较器一一进行介绍。 1. BinaryComparator 介绍：二进制比较器，用于按字典顺序比较指定字节数组。 先看一个小例子： public class BinaryComparatorDemo { public static void main(String[] args) {
因为主机时间不同步导致的hbase zookeeper 节点宕机奔溃 一例 前几天 ，升级hadoop/hbase 集群， 新 添加了几十台机器， 硬件部门，安装好主机os 后就交付给我们了， 安装好软件环境，配置好，就启动接入集群了，运行了一个礼拜，系统运行正常。
昨天的时候淘汰一台旧机器，上面跑了zookeeper ， 需要准备一个新的zookeeper 节点来代替，如实就找了一台hbase 节点上启动了zookeeper 这个时候问题来了， zookeeper 启动后总是在报错， 一直在确定自己的状态。
1元包年，阿里云HBase Serverless开启大数据学习与测试的新时代 阿里云HBase Serverless 版是基于HBase，使用Serverless架构构建的一套新型的HBase 服务。 阿里云HBase Serverless版真正把HBase变成了一个服务，用户无需提前规划资源，选择CPU，内存资源数量，购买集群。在应对业务高峰，业务空间增长时，也无需进行扩容
HBase全网最佳学习资料汇总 HBase这几年在国内使用的越来越广泛，在一定规模的企业中几乎是必备存储引擎，互联网企业阿里巴巴、京东、小米都有数千台的HBase集群，中国电信的话单、中国人寿的保单都是存储在HBase中。注意大公司有数十个数百个HBase集群，此点跟Hadoop集群很不相同。
hive_学习_02_hive整合hbase（失败） 一、前言 本文承接上一篇：hive_学习_01_hive环境搭建(单机) ，主要是记录 hive 整合hbase的流程 二、环境准备 1.环境准备 操作系统 : linux CentOS 6.
第十二届 BigData NoSQL Meetup — 基于hbase的New sql落地实践 立即下载