Hadoop配置安装手册
本次Hadoop集群安装一共使用四个节点,各节点IP如下:
Master |
172.22.120.191 |
Slave1 |
172.22.120.192 |
Slave2 |
172.22.120.193 |
Slave3 |
172.22.120.193 |
系统版本CentOS 6.2L
JDK版本:1.7
Hadoop版本:1.1.2
完成四个节点系统安装后,开始安装hadoop:
1. 配置hosts文件
2. 配置SSH免密码登录
3. 安装JDK
4. 下载并解压hadoop
5. 配置namenode,修改site文件
6. 配置hadoop-env.sh文件
7. 配置masters和Slaves文件
8. 向各节点复制hadoop
9. 格式化namenode
10. 启动hadoop
11. Jps检测是否启动成功
12. 通过网站查看集群情况
1 配置hosts文件
Hadoop会使用多个端口,开始配置前最好开放相应端口或者关闭防火墙
CentOS命令为:
chkconfig iptables off
service iptables stop
为了方便操作,我们直接配置hosts文件,以后可以直接使用master,slave来代替IP
2 配置SSH免密码登录
因为hadoop需要用master节点管理其它节点,需要将master的public key发送给其他节点,使用SSH可以减少很多操作。
返回hadoop账号,创建hadoop用户的密钥:
生成密钥后,将public key更名为authorized_keys文件,并测试是否可以免密码登录:
输入命令: ssh master,检测是否需要密码,第一次会提示是否保存密钥,输入yes即可,在其他三个节点中执行相同的操作。
最后将master节点的 id_rsa.pub的内容追加到其他三个节点的authorized_keys中。
如果成功,则可以直接使用 ssh slave 连接其他节点。
3 安装JDK
先查看自带jdk,这里是openJDK,我们需要卸载然后重新安装JDK
查看openJDK依赖包,依次卸载
将jdk文件复制到master节点 /usr/local 目录下并解压。
修改 /etc/profile 文件,添加Jdk目录
输入 source /etc/profile 使配置生效
最后查看java版本
尽量保持各节点jdk版本和路径一直,方便后续安装
4 下载并解压hadoop
修改 /etc/profile文件,添加hadoop路径
最后使 profile文件生效,输入 source /etc/profile
5 配置namenode,修改site文件
6 配置hadoop-env.sh文件
7 配置masters和Slaves文件
8 向各节点复制hadoop
对其他节点执行相同操作,将Hadoop文件发送到节点
9 格式化namenode
在第一次启动时格式化namenode,多次格式化可能会使namenode和datanodeID不一致
10 启动hadoop
11 Jps检测是否启动成功
12 通过网站查看集群情况
相关文章
- VM网络配置
- PyQt5+Pycharm安装和配置「建议收藏」
- Apache配置+php配置
- CentOS+VMware安装与配置(二)
- Tomcat 的安装与环境配置教程(超详细)
- SVN入门安装配置与适用
- ros安装教程 ubuntu18.04_idea安装和配置教程
- SVN安装配置以及启动[通俗易懂]
- SAP Purchase Order Release StrategySAP采购订单审批策略配置
- LVS-DR模式配置搭建
- 【Flutter】Flutter 自定义字体 ( 下载 TTF 字体 | pubspec.yaml 配置字体资源 | 同步资源 | 全局应用字体 | 局部应用字体 )
- CentOS7.5安装配置Harbor1.7的全过程
- Node.js安装及环境配置之Windows篇详解编程语言
- Oracle 参数 SMTP_OUT_SERVER 官方解释,作用,如何配置最优化建议
- Linux配置防火墙:一步一步走(linux配置防火墙)
- Linux中常用软件的安装与配置(linux常用软件环境)
- Linux系统全局配置实践指南(linux全局配置)
- 快速搭建Hadoop集群:基于Linux的简易配置(linux配置hadoop)
- MySQL 32位环境的安装与配置(c32位mysql)
- Oracle中配置TNS的步骤指南(oracle中配置tns)
- 如何快速配置分布式Redis集群(分布式redis怎么配置)
- Oracle数据库如何配置中文界面(oracle中文界面设置)
- Windows下Nginx+PHP5的安装与配置方法