CentOS7搭建Hadoop + HBase + Zookeeper集群

一、基础环境准备

1、下载安装包(均使用当前最新的稳定版本，截止至2017年05月24日)

1)jdk-8u131

2)hadoop-2.7.3

3)hbase-1.2.5

4)zookeeper-3.4.10

以上下载地址请点击“阅读原文”

2、修改hosts文件(使用的三台集群主机默认IP为192.168.0.100、192.168.0.101、192.168.0.102)

# vim /etc/hosts  添加以下信息  192.168.0.100 master  192.168.0.101 slave1  192.168.0.102 slave2  

3、安装JDK

-- 解压jdk安装包  # mkdir /usr/java  # tar -zxvf jdk-8u131-linux-x64.tar.gx -C /usr/java  -- 拷贝jdk至slave1及slave2中  # scp -r /usr/java slave1:/usr  # scp -r /usr/java slave2:/usr  -- 设置jdk环境变量  # vim /etc/environment  JAVA_HOME=/usr/java/jdk1.8.0_131  JRE_HOME=/usr/java/jdk1.8.0_131/jre  # vim /etc/profile  export JAVA_HOME=/usr/java/jdk1.8.0_131  export JRE_HOME=${JAVA_HOME}/jre  export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar  export PATH=$PATH:$JAVA_HOME/bin  

4、设置免密登陆

slave1

# ssh-keygen -t rsa  # cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub  # scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/  

slave2

# ssh-keygen -t rsa  # cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub  # scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/  

master

# ssh-keygen -t rsa  # cat ~/.ssh/id_rsa.pub   ~/.ssh/authorized_keys  # cat ~/.ssh/slave1_id_rsa.pub   ~/.ssh/authorized_keys  # cat ~/.ssh/slave2_id_rsa.pub   ~/.ssh/authorized_kyes  -- 拷贝文件至slave1及slave2  # scp ~/.ssh/authorized_keys slave1:~/.ssh  # scp ~/.ssh/authorized_keys slave2:~/.ssh  

5、关闭防火墙及SELINUX

-- 关闭防火墙  # systemctl stop firewalld.service  # systemctl disable firewalld.service  -- 关闭SELINUX  # vim /etc/selinux/config  -- 注释掉  #SELINUX=enforcing  #SELINUXTYPE=targeted  -- 添加  SELINUX=disable  

二、Hadoop环境搭建

1、解压缩安装包及创建基本目录

# tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr  # cd /usr/hadoop-2.7.3  # mkdir tmp logs hdf hdf/data hdf/name  

2、修改hadoop配置文件

-- 修改 slaves 文件  # vim /usr/hadoop-2.7.3/etc/hadoop/slaves  -- 删除 localhost，添加  slave1  slave2  -- 修改 core-site.xml 文件  # vim /usr/hadoop-2.7.3/etc/hadoop/core-site.xml  -- 在 configuration 节点中添加以下内容  property   name fs.default.name /name   value hdfs://master:9000 /value   /property   property   name hadoop.tmp.dir /name   value file:/usr/hadoop-2.7.3/tmp /value   /property   -- 修改 hdfs-site.xml 文件  # vim /usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml  -- 在 configuration 节点添加以下内容  property   name dfs.datanode.data.dir /name   value /usr/hadoop-2.7.3/hdf/data /value   final true /final   /property   property   name dfs.namenode.name.dir /name   value /usr/hadoop-2.7.3/hdf/name /value   final true /final   /property   -- 修改 mapred-site.xml 文件  # cp /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml  # vim /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml  -- 在 configuration 节点添加以下内容  property   name mapreduce.framework.name /name   value yarn /value   /property   property   name mapreduce.jobhistory.address /name   value master:10020 /value   /property   property   name mapreduce.jobhistory.webapp.address /name   value master:19888 /value   /property   -- 修改 yarn-site.xml 文件  # vim /usr/hadoop-2.7.3/etc/hadoop/yarn-site.xml  -- 在 configuration 节点添加以下内容  property   name yarn.nodemanager.aux-services.mapreduce.shuffle.class /name   value org.apache.mapred.ShuffleHandler /value   /property   property   name yarn.resourcemanager.address /name   value master:8032 /value   /property   property   name yarn.resourcemanager.scheduler.address /name   value master:8030 /value   /property   property   name yarn.resourcemanager.resource-tracker.address /name   value master:8031 /value   /property   property   name yarn.resourcemanager.admin.address /name   value master:8033 /value   /property   property   name yarn.resourcemanager.webapp.address /name   value master:8088 /value   /property   

3、复制hadoop到slave节点

# scp -r /usr/hadoop-2.7.3 slave1:/usr  # scp -r /usr/hadoop-2.7.3 slave2:/usr  

4、配置 master 和 slave 的 hadoop 环境变量

# vim /etc/profile  -- 添加如下内容  export HADOOP_HOME=/usr/hadoop-2.7.3  export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH  export HADOOP_LOG_DIR=/usr/hadoop-2.7.3/logs  export YARN_LOG_DIR=$HADOOP_LOG_DIR  -- 保存后执行  # source /etc/profile  # vim ~/.bashrc  -- 添加如下内容  export HADOOP_PREFIX=/usr/hadoop-2.7.3/  

5、格式化 namenode

# /usr/hadoop-2.7.3/sbin/hdfs namenode -format 

6、启动 hadoop

# /usr/hadoop-2.7.3/sbin/start-all.sh 

到这一步已经成功完成了hadoop环境的搭建

三、Zookeeper 环境搭建

1、解压缩 zookeeper 安装包，并建立基本目录

# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr  # mkdir /usr/zookeeper-3.4.10/data  

2、修改配置文件

-- 复制配置文件模板  # cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg  -- 修改配置文件  # vim /usr/zookeeper-3.4.10/conf/zoo.cfg  -- 添加如下内容  dataDir=/usr/zookeeper-3.4.10/data  server.1=master:2888:3888  server.2=slave1:2888:3888  server.3=slave2:2888:3888  -- 创建myid文件(master、slave1、slave2均需更新)  # touch /usr/zookeeper-3.4.10/data/myid  # vim /usr/zookeeper-3.4.10/myid  -- 添加如下内容  1(master节点添加)  2(slave2节点添加)  3(slave3节点添加)  

3、启动zookeeper

-- master、slave1、slave2增需要执行  # cd /usr/zookeeper-3.4.10/bin  # ./zkServer.sh start  # ./zkServer.sh status  

到这一步完成了zookeeper环境的搭建

四、HBase环境搭建

1、解压缩 hbase 安装包

# tar -zxvf hbase-1.2.5-bin.star.gz -C /usr  # mkdir /usr/hbase-1.2.5-bin/logs  

2、修改配置文件

# vim /usr/hbase-1.2.5/conf/hbase-env.sh  -- 添加如下内容  export JAVA_HOME=/usr/java/jdk1.8.0_131  export HBASE_LOG_DIR=${HBASE_HOME}/logs  export HBASE_MANAGES_ZK=false  

3、修改regionservers

# vim /usr/hbase-1.2.5/conf/regionservers  -- 删除localhost，新增如下内容  master  slave1  slave2 

4、修改配置文件

# vim /usr/hbase-1.2.5/conf/hbase-site.xml  -- 在configuration节点下添加如下内容  property   name hbase.rootdir /name   value hdfs://master:9000/hbase /value   /property   property   name hbase.cluster.distributed /name   value true /value   /property   property   name hbase.zookeeper.quorum /name   value master,slave1,slave2 /value   /property   property   name hbase.zookeeper.property.dataDir /name   value /usr/zookeeper-3.4.10/data /value   /property   property   name hbase.master /name   value hdfs://master:60000 /value   /property   

5、复制hbase到slave中

# scp -r /usr/hbase-1.2.5 slave1:/usr  # scp -r /usr/hbase-1.2.5 slave2:/usr  

6、启动hbase

# /usr/hbase-1.2.5/bin/start-hbase.sh 

到这一步hbase环境搭建完成

作者：kolbe 来源：51CTO
Zookeeper集群搭建记录 | 云计算[CentOS7] | Zookeeper集群搭建（上） 写在前面 step1 Zookeeper安装包的下载 step2 关闭防火墙 step3 解压配置Zookeeper 1 解压并创建修改/conf/zoo.cfg文件 2 创建并修改/data/myid step4 配置文件传送到其他节点