zl程序教程

您现在的位置是:首页 >  其他

当前栏目

Alluxio源码分析读数据:打开文件(二)

文件源码 分析 打开 ALLuxio
2023-09-27 14:29:33 时间
MapReduce原理分析之MapTask读取数据 通过前面的内容介绍相信大家对于MapReduce的操作有了一定的了解,通过客户端源码的分析也清楚了split是逻辑分区,记录了每个分区对应的是哪个文件,从什么位置开始到什么位置介绍,而且一个split对应一个Map Task任务,而MapTask具体是怎么读取文件的呢?本文来具体分析下。
客户端上传文件会被分为128M一块上传  首先客户端像namenode请求上传,namenode响应可以上传。
HDFS作为分布式文件系统,使用的是master/slave体系结构,角色有三种: NameNode:为HDFS提供元数据服务,NameNode可以控制所有文件的操作,它会把所有的文件元数据存储在文件系统树中,文件信息在硬盘上保存成两个文件:命名空间镜像文件(fsimage)和修改日志文件(edit log)。