hadoop集群运行jps命令以后Datanode节点未启动的解决办法
出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。
1:其实网上已经有解决办法了,这里自己脑补一下,也可以让别人看到我是怎么解决的。出现这个问题主要是和配置这个文件相关:core-site.xml;
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.4.1/tmp</value> </property>
主要和配置的这个/home/hadoop/hadoop-2.4.1/tmp的这个tmp目录里面的(这个tmp目录是自己起的,自己开心就好);
而网上是这样解决的:
打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看到datanode已正常启动。
我感觉这样不是很畅快解决问题,所以直接/home/hadoop/hadoop-2.4.1/tmp/dfs/data/current下面的VERSION删除了,然后再执行一下又重新执行了格式化命令(hdfs namenode -format),最后启动start-dfs.sh和start-yarn.sh就可以了;
2:启动start-dfs.sh和start-yarn.sh显示节点的类别:
1:HDFS的守护进程
(1):主节点:Namenode、SecondaryNamenode
(2):从节点:Datanode
2:YARN的守护进程
(1):主节点:ResourceManager
(2):从节点:NodeManager
3:心灵鸡汤:
有时候,也许坚持下去也不会有所成就,但是放弃肯定是一无所有......致自己;
相关文章
- ROS中启动超声波雷达节点「建议收藏」
- 【力扣刷题】24. 两两交换链表中的节点
- css 指定孩子节点样式设置
- redis哈希和集合_动力节点Java学院整理
- 【Hadoop基础】hadoop fs 命令详解大数据
- mongodb sharding ( replica set + sharding) 添加shard节点详解大数据
- Linux下快速启动Hadoop集群(linux启动hadoop)
- Redis与Hadoop:让数据变得更加简单(redis与hadoop)
- 快速搭建Hadoop集群:基于Linux的简易配置(linux配置hadoop)
- 测试Redis集群节点实现完美的可用性(测试redis集群节点)
- Redis集群搭建从一台节点起步(一台redis搭建集群)
- Oracle信任节点建立安全连接的关键(oracle信任节点)
- ,稳定性越高构建更多的Redis集群节点,服务稳定性更可靠(redis集群节点越多)
- 掉解决Redis集群节点挂掉问题(redis集群 节点挂)
- 最佳Redis集群应有多少节点(redis集群有多少节点)
- 构建Redis集群最少节点实现负载均衡(redis集群+最少节点)
- 谨慎选择Redis 集群主节点定位(redis集群如何选主)
- 所有节点使用Redis集群,如何找到所有节点(redis集群 如何查询)
- jquery创建一个新的节点对象(自定义结构/内容)的好方法
- jquery的父子兄弟节点查找示例代码
- javascript实现节点(div)名称编辑