分散处理 Hadoop架构服务器角色
在Hadoop运算集群架构中,先分解任务,分工处理再汇总结果这些服务器依据用途可分成Master节点和Worker节点,Master负责分配任务,而Worker负责执行任务,如负责分派任务的操作,角色就像是Master节点。
Hadoop架构服务器角色分工
Hadoop运算集群中的服务器依用途分成Master节点和Worker节点。Master节点中安装了JobTracker、NameNode、TaskTracker和DataNode程序,但Worker节点只安装TaskTracker和DataNode。
![](https://s2.51cto.com/oss/202207/20/93a05a6587575a51426291119502d6aa5fc868.jpg)
另外在系统的运行架构上,最简单的Hadoop架构,可以分成上层的MapReduce运算层以及下层的HDFS数据层。
在Master节点的服务器中会执行两套程序,一个是负责安排MapReduce运算层任务的JobTracker,以及负责管理HDFS数据层的NameNode程序。而在Worker节点的服务器中也有两套程序,接受JobTracker指挥,负责执行运算层任务的是TaskTracker程序,而与NameNode对应的则是DataNode程序,负责执行数据读写动作,以及执行NameNode的副本策略。
在MapReduce运算层上,担任Master节点的服务器负责分配运算任务, Master节点上的JobTracker程序会将 Map和Reduce程序的执行工作,指派给Worker服务器上的TaskTracker程序,由TaskTracker负责执行Map和Reduce工作,并将运算结果回复给Master节点上的JobTracker。
在HDFS数据层上,NameNode负责管理和维护HDFS的名称空间、并且控制文件的任何读写操作,同时NameNode会将要处理的数据切割成一个个文件区块(Block),每个区块是64MB,例如1GB的数据就会切割成16个文件区块。NameNode还会决定每一份文件区块要建立几个副本,一般来说,一个文件区块总共会复制成3份,并且会分散储存到3个不同Worker服务器的DataNode程序中管理,只要其中任何一份文件区块遗失或损坏,NameNode会自动寻找位于其他DataNode上的副本来回复,维持3份的副本策略。
在一套Hadoop集群中,分配MapReduce任务的JobTracker只有1个,而TaskTracker可以有很多个。同样地,负责管理HDFS文件系统的NameNode也只有一个,和JobTracker同样位于Master节点中,而DataNode可以有很多个。
不过,Master节点中除了有JobTracker和NameNode以外,也会有TaskTracker和DataNode程序,也就是说Master节点的服务器,也可以在本地端扮演Worker角色的工作。
在部署上,因为Hadoop采用Java开发,所以Master服务器除了安装操作系统如Linux之外,还要安装Java运行环境,然后再安装Master需要的程序,包括了NameNode、JobTracker和DataNode与TaskTracker。而在Worker服务器上,则只需安装Linux、Java环境、DataNode和TaskTracker。
相关文章
- 读Java8函数式编程笔记05_数据并行化
- Google谷歌浏览器Post请求预见strict-origin-when-cross-origin跨域问题的 解决办法
- springboot~openfeign开启熔断之后MDC为null的理解
- elementUI使用el-upload上传文件写法总结及避坑,上传图片/视频到本地/服务器以及回显+删除
- 深入使用Element-plus系列-入门按需引入安装
- 读Java8函数式编程笔记04_类库
- ChatGPT初体验——震撼,好用,贾维斯已来
- 《RPC实战与核心原理》学习笔记Day11
- 【宜搭】低代码开发师高级认证实操题1难点指导
- 使用Spring框架进行Web项目开发(初级)
- 前端框架 Electron 使用总结
- 读Java8函数式编程笔记03_高级集合类和收集器
- 《RPC实战与核心原理》学习笔记Day10
- 读Java8函数式编程笔记02_流
- unipush2.0教程
- 《RPC实战与核心原理》学习笔记Day9
- 读Java8函数式编程笔记01_Lambda表达式
- 《RPC实战与核心原理》学习笔记Day8
- 学习笔记——Linux中搜索查找类命令;压缩和解压类;Linux挂载和卸载;进程线程类命令;RPM;YUM
- 学习笔记——CentOS中的帮助命令;常用快捷键;文件目录类命令