大数据 | HDFS 元数据持久化笔记
一、HDFS 架构简单介绍
HDFS 是一个主从(Master/Slaves)的架构,它由一个 NameNode 和一些 DataNode 组成。其中,NameNode 是主,DataNode 是从。文件元数据由 NameNode 负责存储和管理,且它维护了一个层次型的文件目录树;文件的数据由 DataNode 来按照 block 进行存储,并按照 block 进行读写。DataNode 与 NameNode 通过心跳来维持,DataNode 会向 NameNode 汇报自己持有的 block 信息。当客户端和 NameNode 交互文件元数据,和 DataNode 交互 block 数据。
二、角色功能
从 HDFS 的架构来看,它包含两个重要的角色,分别是 NameNode 和 DataNode。其中,NameNode 完全基于内存存储文件元数据、目录结构、文件 block 的映射,因此,它需要持久化方案来保证数据的可靠性;DataNode 基于磁盘存储 block,并保存了 block 的校验,从而保证 block 的可靠性;DataNode 和 NameNode 之间通过心跳保持,并向 NameNode 汇报 block 状态。
三、常用的持久化方案
很多基于内存的存储,在使用持久化时,持久化方案通常有几种方案,包括日志文件、内存 Dump 和 两种的混合方式。先来说一下比较常用的缓存系统 —— Redis。Redis 的持久化方式分为 AOF、RDB 和 混合方式。Redis 的 AOF 属于日志记录文件,它会记录每条命令到文本文件中,RDB 属于内存 Dump 的方式,它会全量的保存内存的信息,混合方式是 AOF 和 RDB 两者共用的方式。(Redis 为了解决 AOF 体积的问题,提供了 AOF 重写的命令)
四、HDFS 元数据的持久化
NameNode 基于内存存储文件元数据、目录结构、文件 block 的映射等信息,为了保障其可靠性,需要对其进行持久化。日志文件的方式 和 内存 Dump 都有其相应的优势与劣势,因此 HDFS 也使用了混合的方式。HDFS 同样也同时使用了这两种方式,其 日志记录 方式被称为 EditsLog,其内存 Dump 方式被称为 FsImage。因为 EditsLog 和 FsImage 也存在 日志记录 和 内存 Dump 的固有的缺点,因此两种方式都使用,来弥补对方的缺点。
FsImage 严格来讲算不上是一个 内存 Dump,因为 FsImage 的创建是在部署完 HDFS 后格式化时生成的。在 NameNode 第一次启动时读取的是一个空的 FsImage 文件(当然,它可能有它的内部结构,但是此时它不包含元数据等信息)。在之后的 NameNode 启动时,会去读 EditsLog 和 FsImage,此时会将所有的 EditsLog 中的记录作用在内存中的 FsImage 上,并将新版本的 FsImage 从内存中保存到磁盘上,然后删除旧的 EditsLog 文件。通过这种方式,HDFS 的内存中就得到了上次关机时的全量数据。
FsImage 需要滚动更新,FsImage 的滚动更新并非进行 内存 Dump,而是通过当前 FsImage 文件和增量的 EditsLog 文件形成新的 FsImage 文件,然后将新的 FsImage 替换旧的 FsImage 文件。而增量的 EditsLog 文件则被删除,重新记录新的 EditsLog 文件。
注意:NameNode 持久化不包含每个文件的块的位置,因为文件块的位置由 DataNode 主动进行上报。
五、Secondary NameNode 的引入
由于滚动更新 FsImage 文件,也是比较耗时耗力的原因,HDFS 给 NameNode 提供了一个秘书,即 Secondary NameNode。Secondary NameNode 并非是第二个 NameNode,因为它不存储元数据,它的作用是完成 FsImage 和 EditsLog 的合并。通常 Secondary NameNode 和 NameNode 不在同一主机。Secondary NameNode 通过 http get 方式获取 NameNode 主机上的 FsImage 和 EditsLog,合并后通过 http post 方式提交给 NameNode,从而生成新的 FsImage 文件。
当 Secondary NameNode 将 EditsLog 拉取以后,NameNode 会将将新的日志记录到新的 EditsLog 中。
六、总结
学习 HDFS 持久化时,想到了 Redis 的持久化,因为很多技术的实现不同,但是它们在理论上几乎是相同的,或者是变通的。这里通过类比的方式,感觉理解其他技术时就会容易一些。上面总结了 HDFS 的 主/从架构,即 NameNode 和 DataNode,其在 HA 模式下还有主备的概念,涉及到选主的一致性算法等知识,之后再进行整理。
相关文章
- 直接在代码里面对list集合进行分页
- .NET Framework 4.5新特性详解
- 大数据的简要介绍
- 大数据的由来
- 高斯混合模型的自然梯度变量推理
- timing-wheel 仿Kafka实现的时间轮算法
- 使用Navicat软件连接自建数据库(Linux系统)
- 那一天,我被Redis主从架构支配的恐惧
- Redis 深入了解键的过期时间
- C#使用委托调用实现用户端等待闪屏
- 基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
- GRAND | 转录调控网络预测数据库
- JFreeChart API中文文档
- 临床相关突变查询数据库
- TIGER | 人类胰岛基因变化查询数据库
- 视频边缘计算网关EasyNVR在视频整体监控解决方案中的应用分析
- Apache Arrow - 大数据在数据湖后的下一个风向标
- 常见的电商数据指标体系
- AKShare-艺人数据-艺人流量价值
- MySQL中多表联合查询与子查询的这些区别,你可能不知道!