浏览器访问 HDFS 页面时,出现以下问题
浏览器访问 HDFS 页面时,出现以下问题
HTTP ERROR 500
Problem accessing /nn_browsedfscontent.jsp. Reason:
Can't browse the DFS since there are no live nodes available to redirect to.
Caused by:
java.io.IOException: Can't browse the DFS since there are no live nodes available to redirect to.
at org.apache.hadoop.hdfs.server.namenode.NamenodeJspHelper.redirectToRandomDataNode(NamenodeJspHelper.java:646)
at org.apache.hadoop.hdfs.server.namenode.nn_005fbrowsedfscontent_jsp._jspService(nn_005fbrowsedfscontent_jsp.java:70)
at org.apache.jasper.runtime.HttpJspBase.service(HttpJspBase.java:98)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)
at org.mortbay.jetty.servlet.ServletHolder.handle(ServletHolder.java:511)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1221)
at org.apache.hadoop.http.lib.StaticUserWebFilter$StaticUserFilter.doFilter(StaticUserWebFilter.java:109)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212)
at org.apache.hadoop.http.HttpServer$QuotingInputFilter.doFilter(HttpServer.java:1081)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212)
at org.apache.hadoop.http.NoCacheFilter.doFilter(NoCacheFilter.java:45)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212)
at org.apache.hadoop.http.NoCacheFilter.doFilter(NoCacheFilter.java:45)
at org.mortbay.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1212)
at org.mortbay.jetty.servlet.ServletHandler.handle(ServletHandler.java:399)
at org.mortbay.jetty.security.SecurityHandler.handle(SecurityHandler.java:216)
at org.mortbay.jetty.servlet.SessionHandler.handle(SessionHandler.java:182)
at org.mortbay.jetty.handler.ContextHandler.handle(ContextHandler.java:766)
at org.mortbay.jetty.webapp.WebAppContext.handle(WebAppContext.java:450)
at org.mortbay.jetty.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:230)
at org.mortbay.jetty.handler.HandlerWrapper.handle(HandlerWrapper.java:152)
at org.mortbay.jetty.Server.handle(Server.java:326)
at org.mortbay.jetty.HttpConnection.handleRequest(HttpConnection.java:542)
at org.mortbay.jetty.HttpConnection$RequestHandler.headerComplete(HttpConnection.java:928)
at org.mortbay.jetty.HttpParser.parseNext(HttpParser.java:549)
at org.mortbay.jetty.HttpParser.parseAvailable(HttpParser.java:212)
at org.mortbay.jetty.HttpConnection.handle(HttpConnection.java:404)
at org.mortbay.io.nio.SelectChannelEndPoint.run(SelectChannelEndPoint.java:410)
at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:582)
问题可能出现原因:
datanode 服务未启动成功
问题排查方案:
使用 jps 查看发现没有 datanode 进程
问题datanode 日志:
java.io.IOException: Incompatible clusterIDs in /home/hdfs/data: namenode clusterID = CID-4923bb76-3ceb-424d-a794-85e608f18307; datanode clusterID = CID-9487a0bb-c768-4673-a654-73dee9e1028e
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:391)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:191)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:219)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:837)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:808)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:280)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:222)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:664)
at java.lang.Thread.run(Thread.java:745)
问题解决思路:
出现以上 ERROR表示在 hdfs/data 目录下得 namenode 得 clusterID 和 datanode 下的 id 不一致造成的
问题解决方案:
1.删除 hadoop 临时目录下的所有文件重新格式化 namenode (不推荐此操作,由于 hdfs 中可能存在有原来的数据,如果执行此操作,会删除所有数据)
2.将 hadoop 临时目录下的 data 和 name 目录下的 current 文件夹下的 VERSION 中得 clusterID 修改为一致即可
相关文章
- 设备运维管理系统助力企业提升生产和管理效率
- jstack排查cpu占用高的步骤
- ChatGPT时代来临,这些AI logo生成器值得一试!
- 一起用Go做一个小游戏(上)
- 一起用Go做一个小游戏(中)
- 一起用Go做一个小游戏(下)
- 基本类型优先装箱基本类型,这是基操啊
- mybatis3源码解析--导入源码
- 绝美梦幻荧光水母图片你也可以拥有
- Excel公式技巧:颠倒单元格区域/数组
- 倒带ChunJun,同心前行|2022年度回顾&2023年共建规划
- Brief Bioinform | CoaDTI:预测药物-靶点相互作用的多模态协同注意力框架
- 智化科技宣布同科因生物战略合作达到里程碑
- 2022年第三季度AI药物研发领域投融资回顾
- Exscientia和MD安德森中心启动战略合作,利用AI开发新型肿瘤治疗方法
- 2022张江AI智药论坛今日举行,张江集成创新园正式发布
- Drug Discov Today|小分子药物的特性趋势分析和可开发性评估
- JCIM|MILCDock:用于药物发现中虚拟筛选的机器学习一致性对接
- 开发癌症细胞模拟平台推进管线和合作|Turbine获2000万欧元A轮融资
- JCIM|诺华25年的小分子优化:化学系列演变的回顾性分析