专家指导 如何实现Hadoop集群搭建
本节继续向大家介绍Hadoop集群搭建的步骤,希望通过本节的介绍你对如何进行Hadoop集群搭建有一定的认识,欢迎大家一起来学习Hadoop集群搭建搭建方面的知识。
一、建立Master到每一台Slave的SSH受信证书
1、伪分布式免密码ssh设置
?现在确认能否不输入口令就用ssh登录localhost:
$sshlocalhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
$ssh-keygen-tdsa-P'-f~/.ssh/id_dsa
$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
?安装ssh,并生成公钥和私钥
?运行ssh-keygen-trsa,根据屏幕提示直接选择“回车”
?会在用户目录~/.ssh/产生两个文件,id_rsa,id_rsa.pub
?cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
2、Hadoop集群搭建的SSH设置
master:
[fan@fan001~]$ssh-keygen-trsa
[fan@fan001~]$sshfan@fan002"mkdir.ssh;chmod0700.ssh"(重复)
[fan@fan001~]$scp~/.ssh/id_rsa.pubfan@fan002:.ssh/id_rsa.pub(重复)
[fan@fan001~]$cd.ssh
[fan@fan001.ssh]$cpid_rsa.pubauthorized_keys
[fan@fan001.ssh]$chmod600authorized_keys
slave:
[fan@fan002~]$touch.ssh/authorized_keys
[fan@fan002~]$cd.ssh
[fan@fan002.ssh]$catid_rsa.pub>>authorized_keys
[fan@fan001.ssh]$chmod600authorized_keys
OK,完成免密码ssh设置
二、启动Hadoop
1、伪分布式的启动:
格式化一个新的分布式文件系统:$bin/hadoopnamenode-format
启动Hadoop守护进程:$bin/start-all.sh
Hadoop守护进程的日志写入到${HADOOP_LOG_DIR}目录(默认是${HADOOP_HOME}/logs).
2、启动Hadoop
Hadoop集群搭建过程中启动Hadoop集群需要启动HDFS集群和Map/Reduce集群。
Ø格式化一个新的分布式文件系统:$bin/hadoopnamenode-format
Ø在分配的NameNode上,运行下面的命令启动HDFS:$bin/start-dfs.sh
bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动DataNode守护进程。
Ø在分配的JobTracker上,运行下面的命令启动Map/Reduce:$bin/start-mapred.sh
bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上启动TaskTracker守护进程。
3.停止Hadoop
Ø在分配的NameNode上,执行下面的命令停止HDFS:$bin/stop-dfs.sh
bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止DataNode守护进程。
Ø在分配的JobTracker上,运行下面的命令停止Map/Reduce:$bin/stop-mapred.sh
bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容,在所有列出的slave上停止TaskTracker守护进程。本节关于Hadoop集群搭建的相关内容介绍完毕。
【编辑推荐】
相关文章
- 直接在代码里面对list集合进行分页
- .NET Framework 4.5新特性详解
- 大数据的简要介绍
- 大数据的由来
- 高斯混合模型的自然梯度变量推理
- timing-wheel 仿Kafka实现的时间轮算法
- 使用Navicat软件连接自建数据库(Linux系统)
- 那一天,我被Redis主从架构支配的恐惧
- Redis 深入了解键的过期时间
- C#使用委托调用实现用户端等待闪屏
- 基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
- GRAND | 转录调控网络预测数据库
- JFreeChart API中文文档
- 临床相关突变查询数据库
- TIGER | 人类胰岛基因变化查询数据库
- 视频边缘计算网关EasyNVR在视频整体监控解决方案中的应用分析
- Apache Arrow - 大数据在数据湖后的下一个风向标
- 常见的电商数据指标体系
- AKShare-艺人数据-艺人流量价值
- MySQL中多表联合查询与子查询的这些区别,你可能不知道!