Hadoop 2.x HDFS和YARN的启动方式
2023-03-09 22:29:10 时间
一.三种启动方式介绍
方式一:逐一启动(实际生产环境中的启动方式)
- hadoop-daemon.sh start|stop namenode|datanode| journalnode
- yarn-daemon.sh start |stop resourcemanager|nodemanager
方式二:分开启动
- start-dfs.sh
- start-yarn.sh
方式三:一起启动
- start-all.sh
二.脚本解读
start-dfs.sh脚本:
(1) 通过命令bin/hdfs getconf –namenodes查看namenode在那些节点上
(2) 通过ssh方式登录到远程主机,启动hadoop-deamons.sh脚本
(3) hadoop-deamon.sh脚本启动slaves.sh脚本
(4) slaves.sh脚本启动hadoop-deamon.sh脚本,再逐一启动
start-all.sh脚本:
说明:start-all.sh实际上是调用sbin/start-dfs.sh脚本和sbin/start-yarn.sh脚本
三.三种启动方式的关系
start-all.sh其实调用start-dfs.sh和start-yarn.sh
start-dfs.sh调用hadoop-deamon.sh
start-yarn.sh调用yarn-deamon.sh
如下图:
四.为什么要设置ssh协议
当执行start-dfs.sh脚本时,会调用slaves.sh脚本,通过ssh协议无密码登陆到其他节点去启动进程。
为了能自动启动远程节点的进程,需要进行免密码登录。
五.采用第二种启动方式
上面已经配置好了ssh公钥登录,接下来用第二种启动方式启动
Step1:先停止所以进程(如果已经启动)
- [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop nodemanager
- [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop resourcemanager
- [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop datanode
- [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop secondarynamenode
- [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop namenode
Step2:启动所以进程
- [hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-dfs.sh
- [hadoop@hadoop-yarn hadoop-2.2.0]$ sbin/start-yarn.sh
Step3:查看管理界面
相关文章
- 每天一道大厂SQL题【Day04】大数据排序统计
- DrugAI实验室研发单细胞RNA测序数据分析工具箱autoCell
- 每天一道大厂SQL题【Day05】活跃用户统计
- 英矽智能公布INS018_055抗纤维化药物I期临床试验的积极顶线数据
- 每天一道大厂SQL题【Day06】电商购买金额统计实战
- 每天一道大厂SQL题【Day07】教育领域SQL实战
- 每天一道大厂SQL题【Day08】
- 每天一道大厂SQL题【Day09】充值日志SQL实战
- Briefings in Bioinformatics | 国际上最大的基于中药活性成分的药物转录图谱平台ITCM
- [oeasy]python0085_ASCII之父_Bemer_COBOL_数据交换网络
- 客服系统即时通讯IM开发(六)Glang Gorm 执行原生Sql语句增删改查封装库【唯一客服】网站在线客服系统
- Mysql学习笔记,持续记录
- 爬虫实战笔记:没有什么网站是不能爬的!
- PHP安装、使用Redis,学习笔记。
- mysql锁机制学习笔记,持续记录
- Vue2 侦听器 watch【初识】
- Vue2 计算属性 computed【初识】
- 三维局部描述子综述
- centos7 之 python3,virtualenvwrapper, git, nginx, redis 源码安装
- HttpRunnerManager 接口自动化测试平台 搭建实践