Ganglia监控Hadoop与HBase集群

以下基于上篇Hadoop2.6与HBase1.0集群架构：

http://lizhenliang.blog.51cto.com/7876557/1665130

http://lizhenliang.blog.51cto.com/7876557/1661354

 Hadoop集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。监控hadoop集群系统好用的比较少，自身感觉ambari比较好用，但不能监控已有的集群环境，挺悲催的。ganglia在网上看到原生支持Hadoop、Hbase性能监控，试用一段时间感觉还不错，监控项比较全面，配置简单，软件包在epel网络源中，使用yum安装方便快捷。

 Ganglia是一个开源集群监控系统，主要用来监控系统性能，如：cpu、mem、硬盘利用率、I/O负载、网络流量等。

Ganglia涉及到三个组件：

gmetad：定期从gmond获取数据，并将数据存储到RRD存储引擎中。

gmond：被监控端代理程序，用于收集监控信息，并发送给gmetad。

ganglia-web：WEB前端，RRD绘图后通过PHP展示。

四、Ganglia集群监控系统部署

1.  CentOS7 YUM源自带epel网络源，直接安装（部署到HMaster0上，尽量单独放一台机器上）

此时会安装出来我们要安装的ganglia之外，还要安装httpd、php、rrdtool、gd、png、jpeg等相关软件包

2.  配置监控端（在HMaster0上配置）

 2.1 配置监控程序

 data_source "Hadoop" 192.168.18.215 192.168.18.216 192.168.18.217 192.168.18.218192.168.18.219

 参数说明：

 第一个是数据源，Hadoop是集群名字，后跟IP是集群中被监控节点地址。

 第二个意思是是否区分主机名大小写，默认是0，修改为1，否则节点中主机名有大写的将保存为小写，写到/var/lib/ganglia/rrds/Hadoop中，导致图形无数据。

 2.2 关联Apache，因为Ganglia自创建的配置ganglia.conf有问题，所以先删除，再创建个软连接到Apache根目录下。

# scp /etc/ganglia/gmond.conf root@HMaster1:/etc/ganglia/gmond.conf   #分别拷贝HSlave0、1、2
# vi /opt/hadoop-2.6.0/etc/hadoop/hadoop-metrics2.properties *.sink.ganglia. >5.  添加HBase被Ganglia监控，添加如下（每台同样配置）

# vi /opt/hbase-1.0.1.1/conf/hadoop-metrics2-hbase.properties *.sink.ganglia. >6.  重启Hadoop和HBase

# start-yarn.sh # start-hbase.sh   #HRegionServer节点需要手动启动（hbase-daemon.sh start regionserver）
HBase集群安装部署 1. 服务器配置好，搭建大数据集群服务器看这篇：[搭建学习使用的大数据集群环境：windows使用vmware安装三台虚拟机，配置好网络环境]
独家支持用户自建、混合云环境集群，快收下这份HBase高可用解决方案 简介：阿里云HBase服务了多家金融、广告、媒体类业务中的风控和推荐，持续的在高可用、低延迟、低成本方向上进行优化。 为了进一步满足客户在可用性以及低延迟上的诉求，阿里云HBase将提供以主备架构为平台，以冗余、并发、隔离、降级等全方位服务为支撑的高可用解决方案。
HBase毛刺消除利器-双集群并发访问(Dual Service) 阿里云HBase服务了多家金融、广告、媒体类业务中的风控和推荐，持续的在高可用、低延迟、低成本方向上进行优化。为了进一步满足客户在可用性以及低延迟上的诉求，新增追求极致稳定性的双集群并发访问(Dual Service)功能.。
李振良 6年互联网运维经验，擅长Linux，Python，Docker，MySQL，运维自动化等技术领域。
第十二届 BigData NoSQL Meetup — 基于hbase的New sql落地实践 立即下载