大数据成长之路-- hadoop集群的部署(3)HDFS新增节点
大数据成长之路-- hadoop集群的部署(3)
6、HDFS新增节点
服役新数据节点
目标:掌握HDFS新添加节点到集群的步骤
需求基础:
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。
准备新节点
第一步:复制一台新的虚拟机出来
将我们纯净的虚拟机复制一台出来,作为我们新的节点
第二步:修改mac地址以及IP地址
修改mac地址命令
vim /etc/udev/rules.d/70-persistent-net.rules
修改ip地址命令
vim /etc/sysconfig/network-scripts/ifcfg-eth0
第三步:关闭防火墙,关闭selinux
关闭防火墙
service iptables stop
关闭selinux
vim /etc/selinux/config
第四步:更改主机名
更改主机名命令
vim /etc/sysconfig/network
第五步:四台机器更改主机名与IP地址映射
四台机器都要添加hosts文件
vim /etc/hosts
192.168.52.100 node01.hadoop.com node01
192.168.52.110 node02.hadoop.com node02
192.168.52.120 node03.hadoop.com node03
192.168.52.130 node04.hadoop.com node04
第六步:node04服务器关机重启并生成公钥与私钥
node04执行以下命令关机重启
reboot
node04执行以下命令生成公钥与私钥
ssh-keygen
node04执行以下命令将node04的私钥拷贝到node01服务器
ssh-copy-id node04
ssh-copy-id node03
ssh-copy-id node02
ssh-copy-id node01
scp authorized_keys node04:$PWD
第七步:node04安装jdk
node04统一两个路径
mkdir -p /export/softwares/
mkdir -p /export/servers/
然后解压jdk安装包,配置环境变量,或将集群中的java安装目录拷贝一份,并配置环境变量。
第八步:解压hadoop安装包
在node04服务器上面解压hadoop安装包到/export/servers
node01执行以下命令将hadoop安装包拷贝到node04服务器
cd /export/softwares/
scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:$PWD
第九步:将node01关于hadoop的配置文件全部拷贝到node04
node01执行以下命令,将hadoop的配置文件全部拷贝到node04服务器上面
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp ./* node04:$PWD
服役新节点具体步骤
第一步:创建dfs.hosts文件
在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件
[root@node01 hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
[root@node01 hadoop]# touch dfs.hosts
[root@node01 hadoop]# vim dfs.hosts
添加如下主机名称(包含新服役的节点)
node01
node02
node03
node04
第二步:node01编辑hdfs-site.xml添加以下配置
在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性
node01执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml
<property>
<name>dfs.hosts</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
</property>
第三步:刷新namenode
node01执行以下命令刷新namenode
[root@node01 hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful
第四步:更新resourceManager节点
node01执行以下命令刷新resourceManager
[root@node01 hadoop]# yarn rmadmin -refreshNodes
19/03/16 11:19:47 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.52.100:8033
第五步:namenode的slaves文件增加新服务节点主机名称
node01编辑slaves文件,并添加新增节点的主机,更改完后,slaves文件不需要分发到其他机器上面去
node01执行以下命令编辑slaves文件
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves
node01
node02
node03
node04
第六步:单独启动新增节点
node04服务器执行以下命令,启动datanode和nodemanager
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
第七步:浏览器查看
http://node01:50070/dfshealth.html#tab-overview
http://node01:8088/cluster
第八步:使用负载均衡命令,让数据均匀负载所有机器
node01执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh
相关文章
- 利用阿里云容器服务实现自定义节点伸缩
- 大数据-Zookeeper(一):基于观察者模式设计的分布式服务管理框架【以树状节点存储、管理大家都关心的数据,接受各观察者的注册,一旦这些数据状态变化,ZK就通知各观察者】【与Hadoop独立】
- Hadoop:分发脚本【xsync.sh】【循环复制文件到所有节点的相同目录下】
- 配置单节点伪分布式Hadoop
- 5节点Hadoop分布式集群搭建经验分享
- 用LINQ获取XML节点数据
- 树形组件自定义节点内容
- 麦当劳:将数字化、人性化、个性化渗透到每一个服务节点
- 六个节点三主三从Redis集群最简单搭建方法
- 《VMware Virtual SAN权威指南》一2.5 VSAN 2节点远程办公室/分支办公室(ROBO)
- MATLAB实例:为网络中每个节点平均分配样例
- 【DevOps】Jenkins+Kubernetes:K8S集群外部署的Jenkins,设置动态Jenkins-slave工作节点到K8S集群中
- MySQL的3节点主从同步复制方案测试
- 大数据NiFi(四):NiFi单节点安装
- galera cluster DDL节点间状态不一致的问题
- 说到作到,HADOOP双节点配置成功
- leetcode 129 求根节点到叶节点数字之和