工作中用到了apache-spark,想深入了解一下,决定从源码开始。

先导入到常用的ide,eclipse吧:

准备工作

 1.  下载Eclipse:http://scala-ide.org/

 2.  从github上下载源码:https://github.com/apache/spark

第一个实验品是Spark-Core项目

  1. exist maven project 导入Eclipse

  2. Eclipse自动导入依赖,这个过程时间较长,请等待

  完成后,发现报错:

  spark build path is cross-compiled with an incompatible version of Scala (2.10.0)。。。

  原因:版本不一致

  • Scala IDE uses Scala 2.11.7
  • Apache Spark built with Scala 2.10

解决方法:

  选中scala libary container [2.11.7],点击右键,选中属性--->classpath container -->2.10 bundle.

  此时重新编译,编译完成ok,没有报错。

参考文献:

【1】https://cwiki.apache.org/confluence/display/SPARK/Useful+Developer+Tools#UsefulDeveloperTools-IDESetup

【2】http://stackoverflow.com/questions/34507966/spark-build-path-is-cross-compiled-with-an-incompatible-version-of-scala-2-10-0

【3】http://blog.csdn.net/yunlong34574/article/details/39213503

最新文章

  1. iOS NSURLConnection POST异步请求封装,支持转码GBK,HTTPS等
  2. Endless Sky源码学习笔记-4
  3. design pattern
  4. ES6标准
  5. 廖雪峰js教程笔记 1
  6. iOS 关于nil和Nil及null与<null>的区别
  7. AC日记——信息传递 洛谷 P2661 (tarjan求环)
  8. DELPHI出现无法加载dclite50.bpl的解决办法(转)
  9. checkbox的全选、反选、删除(MainActivity)
  10. 1password密码文件重装后恢复
  11. foreach的指针问题
  12. IBM X3650 服务器更换内存的过程记录
  13. perl学习(5) 输入和输出
  14. Java学习之链表
  15. .net读取异步Post的内容
  16. MarkdownPad2的密钥
  17. linux 下yum使用技巧
  18. Redis 学习笔记4: Redis 3.2.1 集群搭建
  19. 前端CSS学习-Background背景相关
  20. Excel函数(不定期持续更新)

热门文章

  1. Java源代码之集合框架(图)
  2. vue (v-if show 问题)
  3. 应用Linux远程桌面(附视频)
  4. Kinect 开发 —— 骨骼追踪(下)
  5. mvc定时执行任务(获取气象台的气象数据,定时新增)
  6. Ternary Tree
  7. 自己定义控件的onMeasure方法具体解释
  8. 相似group by的分组计数功能
  9. js04---object1
  10. HASH Partitioning--转载