eclipse 执行MapReduce程序错误异常汇总(解决Map not fount)
错误一:
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2074)
at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:742)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1980)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2072)
... 8 more
问题分析:非常烦人的一个问题。非常久之前就碰见过,后来电脑linux换了一个版本号,攻克了
解决的方法:eclipse加入hadoop配置文件问题,记住仅仅须要在程序文件夹下新建一个conf的文件夹。把log4j.properties复制到该文件夹下,重新启动eclipse就可以
错误二:
eclipse 执行MR提示无法訪问的情况
问题分析:权限不足
解决的方法:又一次给hdfs文件系统赋予权限(可能会常常遇到这样的问题,可运行同一种操作就可以)bin/hdfs dfs -chmod -R 777 /
错误三:
HMaster启动之后马上又关闭
问题分析:可能是zookeeper不稳定造成的,
解决的方法:停止zookeeper服务(bin/zkServer.sh stop zoo1.cfg bin/zkServer.sh stop zoo2.cfg bin/zkServer.sh stop zoo3.cfg ),再又一次启动
错误四:
15/08/23 11:10:07 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001
Exception in thread "main" ExitCodeException exitCode=1: chmod: 无法訪问"/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001": 没有那个文件或文件夹
问题分析:eclipse的配置文件缺少
解决的方法:把配置hadoop时所改动的配置文件所有拷贝到src目录下
错误五:
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/thinkgamer/output already exists
问题分析:hdfs文件系统中的output目录已经存在
解决的方法:删除就可以(同一时候还可能出现找不到input文件夹的问题,此时注意检查input路径)
相关文章
- exportfs 入门/ 错误
- 【Go入门教程4】变量(var),常量(const),内置基础类型(Boolean、数值 byte,int,rune、字符串、错误类型),分组,iota枚举,array(数值),slice(切片),map(字典),make/new操作,零值
- 代码分析错误查询SQL
- navicat连接本地MySQL8.0.19报1251错误的解决办法
- SAP Fiori应用里一些OData错误排查的最佳实践
- Can't load AMD 64-bit .dll on a IA 32-bit platform错误消息的处理
- IIS 编译器错误消息: CS0016未能写入输出文件“c:WINDOWSMicrosoft.NETFrameworkv1.1.4322Temporary ASP.NET Filesroo
- WCF错误远程服务器返回了意外响应: (413) Request Entity Too Large。解决方案
- 论ORBSLAM_with_pointcloud_map段错误(核心已转储)的另一种解决方法
- Map生成器 map适配器如今能够使用各种不同的Generator,iterator和常量值的组合来填充Map初始化对象
- Centos8 fstab文件配置错误导致机器起不来问题解决
- 【入坑ORB-SLAM3系列2】未标定的realsense D435i试运行ORB-SLAM3(手把手教学,含realsense d435i一些错误的解决)