apache-spark导入eclipse环境
工作中用到了apache-spark,想深入了解一下,决定从源码开始。
先导入到常用的ide,eclipse吧:
准备工作
1. 下载Eclipse:http://scala-ide.org/
2. 从github上下载源码:https://github.com/apache/spark
第一个实验品是Spark-Core项目
1. exist maven project 导入Eclipse
2. Eclipse自动导入依赖,这个过程时间较长,请等待
完成后,发现报错:
spark build path is cross-compiled with an incompatible version of Scala (2.10.0)。。。
原因:版本不一致
- Scala IDE uses Scala 2.11.7
- Apache Spark built with Scala 2.10
解决方法:
选中scala libary container [2.11.7],点击右键,选中属性--->classpath container -->2.10 bundle.
此时重新编译,编译完成ok,没有报错。
参考文献:
【1】https://cwiki.apache.org/confluence/display/SPARK/Useful+Developer+Tools#UsefulDeveloperTools-IDESetup
【2】http://stackoverflow.com/questions/34507966/spark-build-path-is-cross-compiled-with-an-incompatible-version-of-scala-2-10-0
【3】http://blog.csdn.net/yunlong34574/article/details/39213503
最新文章
- iOS NSURLConnection POST异步请求封装,支持转码GBK,HTTPS等
- Endless Sky源码学习笔记-4
- design pattern
- ES6标准
- 廖雪峰js教程笔记 1
- iOS 关于nil和Nil及null与<;null>;的区别
- AC日记——信息传递 洛谷 P2661 (tarjan求环)
- DELPHI出现无法加载dclite50.bpl的解决办法(转)
- checkbox的全选、反选、删除(MainActivity)
- 1password密码文件重装后恢复
- foreach的指针问题
- IBM X3650 服务器更换内存的过程记录
- perl学习(5) 输入和输出
- Java学习之链表
- .net读取异步Post的内容
- MarkdownPad2的密钥
- linux 下yum使用技巧
- Redis 学习笔记4: Redis 3.2.1 集群搭建
- 前端CSS学习-Background背景相关
- Excel函数(不定期持续更新)