apache-spark导入eclipse环境
工作中用到了apache-spark,想深入了解一下,决定从源码开始。
先导入到常用的ide,eclipse吧:
准备工作
1. 下载Eclipse:http://scala-ide.org/
2. 从github上下载源码:https://github.com/apache/spark
第一个实验品是Spark-Core项目
1. exist maven project 导入Eclipse
2. Eclipse自动导入依赖,这个过程时间较长,请等待
完成后,发现报错:
spark build path is cross-compiled with an incompatible version of Scala (2.10.0)。。。
原因:版本不一致
- Scala IDE uses Scala 2.11.7
- Apache Spark built with Scala 2.10
解决方法:
选中scala libary container [2.11.7],点击右键,选中属性--->classpath container -->2.10 bundle.
此时重新编译,编译完成ok,没有报错。
参考文献:
【1】https://cwiki.apache.org/confluence/display/SPARK/Useful+Developer+Tools#UsefulDeveloperTools-IDESetup
【2】http://stackoverflow.com/questions/34507966/spark-build-path-is-cross-compiled-with-an-incompatible-version-of-scala-2-10-0
【3】http://blog.csdn.net/yunlong34574/article/details/39213503
相关文章
- Apache Kylin权威指南3.5 小结
- Apache Storm 官方文档 —— 多语言接口协议
- Apache Storm 官方文档 —— 理解 Storm 拓扑的并行度(parallelism)概念
- Apache Storm 官方文档 —— 配置
- [转]org.apache.poi3.1.7 Excle并发批量导入导出,格式设置方式需要修改
- org.apache.catalina.connector.ClientAbortException: java.io.IOException: 断开的管道
- Apache与Nginx的优缺点比较
- Apache HttpComponents Custom protocol interceptors通过拦截器自定义压缩
- Apache用户目录枚举工具apache-users
- 漏洞复现----19、Apache解析漏洞复现
- apache配置伪静态Rewrite
- Apache Curator与Zookeeper版本兼容性异常:org.apache.zookeeper.KeeperException$UnimplementedException: KeeperErrorCode =Unimplemented
- 如何使用JMeter测试Kafka:Apache Kafka - How to Load Test with JMeter
- Apache NiFi之MySQL数据同步到本地文件系统
- 大数据教程之Apache Kafka 入门
- Nginx和Apache共存环境下apache获得真实IP
- windows下更改Apache以fastcgi方式运行php
- 2022年7月7日热点分享:Apache 多个组件漏洞公开(CVE-2022-32533),赶紧查看你负责的代码是否中招?
- apache开源项目--Synapse
- apache开源项目--Apache POI
- ssm 出现 Method threw 'org.apache.ibatis.binding.BindingException' exception.Invalid bound statement (not found)……