zl程序教程

您现在的位置是:首页 >  大数据

当前栏目

hadoop datanode节点超时时间设置详解大数据

节点hadoop数据 详解 设置 时间 超时 DataNode
2023-06-13 09:20:25 时间

datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。

HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。
而默认的heartbeat.recheck.interval 大小为5分钟,dfs.heartbeat.interval默认为3秒。

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒。

所以,举个例子,如果heartbeat.recheck.interval设置为5000(毫秒),dfs.heartbeat.interval设置为3(秒,默认),则总的超时时间为40秒。
hdfs-site.xml中的参数设置格式:

 property 

 name heartbeat.recheck.interval /name 

 value 2000 /value 

 /property 

 property 

 name dfs.heartbeat.interval /name 

 value 1 /value 

 /property 

 

原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/9060.html

分布式文件系统,分布式数据库区块链并行处理(MPP)数据库,数据挖掘开源大数据平台数据中台数据分析数据开发数据治理数据湖数据采集