WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable(spark加载hadoop本地库的时候出现不能加载的情况要怎么解决呢?)
2023-09-11 14:19:20 时间
原文地址:
https://www.zhihu.com/question/23974067/answer/26267153
原文内容:
我64位机器,当时hadoop启动的时候出现这个问题是因为hadoop本身自带的本地库是32位的,我现在hadoop2.2.0已经替换了本地库为64位的了,并且编译spark的时候采用了相对应的版本:
SPARK_HADOOP_VERSION=2.2.0 SPARK_YARN=true ./sbt/sbt assembly
但是现在进入spark shell的时候依然最后会出现如下警告,有没有人成功解决了这个问题呢?我spark是0.9.1版本的,谢谢各位大神!
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
原文回答,解决方案:
主要是jre目录下缺少了libhadoop.so和libsnappy.so两个文件。具体是,spark-shell依赖的是scala,scala依赖的是JAVA_HOME下的jdk,libhadoop.so 和 libsnappy.so 两个文件应该放到 $JAVA_HOME/jre/lib/amd64 下面。
这两个so:libhadoop.so和libsnappy.so。前一个so可以在HADOOP_HOME下找到,如hadoop\lib\native。第二个libsnappy.so需要下载一个snappy-1.1.0.tar.gz,然后./configure,make编译出来,编译成功之后在.libs文件夹下。
当这两个文件准备好后再次启动spark shell不会出现这个问题。
这两个so:libhadoop.so和libsnappy.so。前一个so可以在HADOOP_HOME下找到,如hadoop\lib\native。第二个libsnappy.so需要下载一个snappy-1.1.0.tar.gz,然后./configure,make编译出来,编译成功之后在.libs文件夹下。
当这两个文件准备好后再次启动spark shell不会出现这个问题。
作者:Edward Lee
链接:https://www.zhihu.com/question/23974067/answer/26267153
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
相关文章
- 图解 & 深入浅出Java初始化与清理:构造器必知必会
- Java实现 LeetCode 768 最多能完成排序的块 II(左右便利)
- Java实现 LeetCode 719 找出第 k 小的距离对(二分搜索法+二分猜数字)
- Java实现 LeetCode 171 Excel表列序号
- Java实现 蓝桥杯VIP 算法提高 邮票面值设计
- Java 蓝桥杯 算法训练 字符串的展开 (JAVA语言实现)
- Java通过mysql-connector-java-8.0.11连接MySQL Server 8.0遇到的几个问题
- 【JAVA】 02-Java对象细节
- java.lang.OutOfMemoryError: Java heap space 解决方法
- hadoop错误,重新格式化namenode后,出现java.io.IOException Incompatible clusterIDs
- Linux Shell脚本之远程自动化部署java maven项目
- Scala特质trait具备Java中类和接口的功能
- Hadoop大数据分布式文件系统hdfs的Java操作
- Java超类-java.lang.object
- 【Hadoop基础】hadoop fs 命令
- java并发编程-线程安全1:servlet访问统计
- 当年的java考试:Java景区预约登记管理系统(maven整合servlet)
- 【华为OD机试 2023】单词倒序(C++ Java JavaScript Python)
- 解决idea出现的java.lang.OutOfMemoryError: Java heap space的问题
- 一文详解java线程池 详解Java线程池的七个参数 详解池化技术 java如何选择核心线程数 详解Java线程池的拒绝策略
- Hadoop 搭建分布式环境 hadoop-3.0.0.tar.gz
- Spark读取本地文件时报错:java.io.FileNotFountException:file doesn't exist
- 【java】Java线程池实现原理及业务中的实践
- FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset 错误解决
- JAVA开发讲义(二)-Java程序设计之数据之谜一