CentOS6安装大数据软件(四):HBase分布式集群的配置
2023-09-14 09:14:56 时间
目录
3.2. 在hbase-site.xml配置HBase的主配置信息
3.3. 在regionservers中配置各个节点的ip地址
3.4. 在conf文件夹下新建backup-masters文件配置备份
0. 相关文章链接
CentOS6安装大数据软件(一):Linux基础软件的安装
CentOS6安装大数据软件(二):Hadoop分布式集群配置
CentOS6安装大数据软件(四):HBase分布式集群的配置
CentOS6安装大数据软件(七):Hue大数据可视化工具安装和配置
CentOS6安装大数据软件(八):Spark集群安装和部署
CentOS6安装大数据软件(九):大数据及相关软件启动等命令
1. HBase分布式集群的安装准备
#上次HBase安装包到Linux
#解压安装包到modules目录下
tar -zxvf hbase-0.98.6-cdh5.3.0.tar.gz -C /opt/modules/
#删除安装包内的docs文档
rm -rf docs/
2. HBase分布式集群的相关配置
2.1. HBase架构体系
Hbase架构体系还是有两个基础服务作为依赖的.对于Hbase,它的数据存储真正落地是在HDFS文件系统上.因此,它的可扩展性非常强,我们可以对HDFS进行无限的横向扩展.数据的存放和管理我们是通过RegionServer来进行管理的.RegionServer类似于我们之前的DataNode,而Master类似我们之前的NameNode.RegionServer会定时的像Master发送心跳信息,报告自己的健康状态信息。
- Zookeeper:Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址,HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中,使得HMaster可以随时感知到各个HRegionServer的健康状态。此外,Zookeeper也避免了HMaster的单点问题。
- HBase Master:每台HRegion服务器都会和HMaster服务器通信,HMaster的主要任务就是要告诉每台HRegion服务器它要维护哪些HRegion。当一台新的HRegion服务器登录到HMaster服务器时,HMaster会告诉它先等待分配数据。而当一台HRegion死机时,HMaster会把它负责的HRegion标记为未分配,然后再把它们分配到其他HRegion服务器中。
- HRegionServer:HRegionServer主要负责响应用户I/O请求,向HDFS文件系统中读写数据,是HBase中最核心的模块。
2.2. Hbase分布式集群各服务器的相关配置
3. HBase详细配置信息
参照官网:http://hbase.apache.org/book.html#quickstart
3.1. 在hbase-env.sh配置JavaHome
#导出JAVA_HOME,保证一定有JAVA的环境
export JAVA_HOME=/opt/modules/jdk1.8.0_144
#修改zookeeper,不使用内置的zookeeper实例,使用我们自己安装的zookeeper
export HBASE_MANAGES_ZK=false
3.2. 在hbase-site.xml配置HBase的主配置信息
<!--设置hbase的根目录-->
<property>
<name>hbase.rootdir</name>
<value>hdfs://node01.ouyang.com:9000/hbase</value>
</property>
<!--开启hbase集群分布式-->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!—Hbase的Zookeeper的信息存放目录-->
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/export/data/hbase/zookeeper/</value>
</property>
<!--zookeeper的地址列表-->
<property>
<name>hbase.zookeeper.quorum</name>
<value>node01.ouyang.com,node02.ouyang.com,node03.ouyang.com</value>
</property>
3.3. 在regionservers中配置各个节点的ip地址
node01.ouyang.com
node02.ouyang.com
node03.ouyang.com
3.4. 在conf文件夹下新建backup-masters文件配置备份
#新建配置文件
touch backup-masters
#在该文件中配置备份节点的ip地址即可
node02.ouyang.com
3.5. 将HBase分发给其他节点
scp -r /export/servers/hbase/ node02.ouyang.com:$PWD
scp -r /export/servers/hbase/ node03.ouyang.com:$PWD
4. HBase的服务启动与测试
启动HBase之前需启动Zookeeper好HDFS
4.1. 逐个服务器节点启动HBase
#在节点1的HBase安装目录的bin目录下启动HBase Master
./hbase-daemon.sh start master
#在三节点启动regionserver
./hbase-daemon.sh start regionserver
4.2. 一键启动
#在HBase的bin目录下执行如下命令
./start-hbase.sh
4.3. HBase测试
访问地址 :http://node01.ouyang.com:60010
5. HBase环境变量设置
export HBASE_HOME=/export/servers/hbase
export PATH=${HBASE_HOME}/bin:$PATH
重新加载环境变量的配置文件:source /etc/profile
6. HBase一键启动脚本
步骤一:在onekey文件夹下创建启动脚本文件
touch starthbase.sh
chmod 777 starthbase.sh
touch stophbase.sh
chmod 777 stophbase.sh
步骤二:编辑启动和停止脚本
启动脚本:/export/servers/hbase/bin/start-hbase.sh
停止脚本:/export/servers/hbase/bin/stop-hbase.sh
相关文章
- HBase源码分析:HTable put过程
- HBase源码:HMaster启动过程
- HBase参数配置及说明
- 大叔问题定位分享(49)hbase集群重启后master初始化失败
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别 Pig
- hbase安装详解
- Hbase 学习(一) hbase配置文件同步
- Hbase 学习(十) HBase Snapshots
- Hbase 学习(十一)使用hive往hbase当中导入数据
- 【收藏】GeoMesa-HBase原理篇——写入过程
- CDH6.3.2 HUE集成HBase
- hbase集群重启后异常删除zookeeper中的元数据
- 启动HBase抛出org.apache.hadoop.hbase.ClockOutOfSyncException异常:hmaster正常,节点hregionserver启动失败
- HBase集群安装方法
- BigData之Hbase:Hbase(基于列的/分布式存储的/开源的非关系型数据库)的简介、下载、案例应用之详细攻略
- hbase学习(一)hbase简介
- 一脸懵逼学习HBase---基于HDFS实现的。(Hadoop的数据库,分布式的,大数据量的,随机的,实时的,非关系型数据库)
- Hbase Sehll基本命令
- 关闭HBase时 no hbase master found
- 【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南
- 【大数据开发运维解决方案】Hadoop+Mysql+Hive+zookeeper+kafka+Hbase+Sqoop+Kylin单机伪分布式安装及官方案例详细文档