cdh集成Spark2.2后spark-shell启动报错解决
2023-09-14 08:57:20 时间
出错信息hadoop相关的包找不到。
[root@hadoop01 bin]# ./spark2-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:124) at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDefaultSparkProperties$1.apply(SparkSubmitArguments.scala:124) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.deploy.SparkSubmitArguments.mergeDefaultSparkProperties(SparkSubmitArguments.scala:124) at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:110) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 7 more [root@hadoop01 bin]#
原因分析:Spark1.4以后,所有spark的编译都是没有将hadoop的classpath编译进去的。所以必须在spark-env.sh中指定hadoop中的所有jar包。
修改配置:在CM网页上修改Spark2.2配置,指定SPARK_DIST_CLASSPATH,然后重启过期配置。
export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)
相关文章
- 万物皆可集成系列:低代码对接企企云实现数据集成
- Springboot集成RocketMQ
- SAP MII(SAP制造集成和智能)-灵活且可扩展
- 再见了Jenkins,一款更轻量级的持续集成工具!
- 将数据中心代理和Oxylabs住宅代理与MultiLogin集成的操作保姆级流程
- TRICONEX DO3401 集成到中央云平台中
- iOS开发—集成百度地图完善版详解手机开发
- Spark-Sql源码解析之五 Spark Planner:optimized logical plan –> spark plan详解大数据
- ScalaPB(0): 找寻合适的内部系统微服务集成工具详解编程语言
- spring boot 集成 Swagger 接口文档详解编程语言
- 微服务实现基于Redis的集成(微服务集成redis)
- Mysql与Zookeeper集成如何提高数据系统的可靠性(mysql zk)
- 作为缓存Spark利用Redis缓冲数据的应用(spark需要redis)
- 基于Spark实现Redis数据库查询(spark查询redis)
- Spark构建实时应用存储分析引擎Redis(spark存储redis)
- Spark开发之利用Redis提升性能(spark使用redis)
- 以Spark精准洞悉Redis潜力(spark分析redis)
- Spark与Redis的比较新趋势的精彩发现(spark对比redis)
- 保时捷启动区块链与车辆整合,行为数据集成总账助力智能驾驶