参考:

英文:https://spark.apache.org/docs/latest/programming-guide.html

中文:http://www.cnblogs.com/lujinhong2/p/4651025.html 1.2.1版本的

 

(一)快速入门

老规矩,先看一个简单示例,有个认识。这个示例来自官方example的SparkPi:

package org.lujinhong.demo.spark

/*
* 官方的sparkPi示例
*/ import scala.math.random import org.apache.spark._ /** Computes an approximation to pi */
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
val spark = new SparkContext(conf)
val slices = if (args.length > 0) args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
val count = spark.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _)
println("Pi is roughly " + 4.0 * count / n)
spark.stop()
} }

注意以上的setMaster(“local”)是自己加上去的,方便直接在本地运行。如果在集群上运行,则通过spark-submit的—master参数指定。

写好代码后,就可以直接在eclipse中右键—>运行了。

 

 

 

 

最新文章

  1. Oracle表格建立
  2. 【转】}目前比较全的CSS重设(reset)方法总结
  3. XPath Checker和Firebug安装与使用
  4. :before和 :after
  5. ios 中清除webView的缓存
  6. 关于appstore多语言版本,不可不看!
  7. BW知识点总结及面试要点
  8. 乐视mysql面试题
  9. zepto源码学习-04 event
  10. php重定向跳转
  11. sqlplus 打印很乱,而且很短就换行
  12. lda 主题模型--TOPIC MODEL--Gibbslda++结果分析
  13. python 之分发包
  14. Python常用的第三方库
  15. 《mysql必知必会》读书笔记--安全管理及数据库维护
  16. SSD中的GC机制以及Trim
  17. Mybatis-批量执行
  18. Mybatis逆向工程的配置
  19. 六:MyBatis学习总结(六)——调用存储过程
  20. python操作word之pywin32的安装

热门文章

  1. 如何使用定时器settimeout、setInterval执行能传递参数的函数(转)
  2. WordPress出现Briefly unavailable for scheduled maintenance. Check back in a minute. 的解决方法
  3. ubuntu-虚拟机分辨率设定
  4. https://github.com/ 英文库
  5. Impala架构
  6. Manning.EJB.3.in.Action.2nd.Edition
  7. 字符设备驱动-----Linux中断处理体系结构
  8. Direct2D开发:MFC下从资源文件中加载位图
  9. 移动mm 话费支付接入过程(ane)
  10. amazeui学习笔记一(开始使用4)--Web App 相关