hadoop datanode节点超时时间设置详解大数据
2023-06-13 09:20:25 时间
datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。
HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。
而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒。
所以,举个例子,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。
hdfs-site.xml中的参数设置格式:
property name heartbeat.recheck.interval /name value 2000 /value /property property name dfs.heartbeat.interval /name value 1 /value /property
原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/9060.html
分布式文件系统,分布式数据库区块链并行处理(MPP)数据库,数据挖掘开源大数据平台数据中台数据分析数据开发数据治理数据湖数据采集相关文章
- ROS1云课→06节点消息流(计算图级)
- 跟着Nature学作图:R语言ggtree给进化树的节点添加饼状图
- 【ES三周年】集群半数以上master节点掉线解决方法
- Hadoop故障处理全分布下,DataNode进程正常启动,但是网页上不显示,并且DataNode节点为空详解大数据
- Hadoop分布式集群部署(单namenode节点)详解大数据
- 【Hadoop基础】hadoop fs 命令详解大数据
- reduce hadoop利用MySQL、MapReduce、Hadoop轻松解决大数据问题(mysqlmap)
- Linux账号管理:实现有效节点保护(linux账号管理)
- Redis与Hadoop:让数据变得更加简单(redis与hadoop)
- 掌握 Linux 主节点,轻松玩转大规模计算环境(linux主节点)
- 快速搭建Hadoop集群:基于Linux的简易配置(linux配置hadoop)
- 利用Hadoop搭建MySQL数据库存储系统(hadoop和mysql)
- Linux下创建Hadoop用户指南(linux创建hadoop用户)
- 利用neo4j和Hadoop构建知识图谱(neo4j hadoop)
- Redis主从节点实现高可用架构,提升数据处理效率(redis主从节点)
- Oracle实现跨节点全局事务(oracle 全局事务)
- 简单几步,掌握如何启停Redis主节点(如何启停redis主节点)
- Oracle日期相减计算节点之间的时间差(oracle 俩日期相减)
- 式架构实现Redis集群节点分布式架构的挑战(redis集群节点分布)
- 故障的解决方案构建健壮的Redis集群解决单节点故障(redis集群单节点)
- Redis如何获取主节点IP地址(redis获取主节点ip)
- javascript-TreeView父子联动效果保持节点状态一致
- js中使用DOM复制(克隆)指定节点名数据到新的XML文件中的代码