spark 编程教程
2024-08-24 19:56:59
参考:
英文:https://spark.apache.org/docs/latest/programming-guide.html
中文:http://www.cnblogs.com/lujinhong2/p/4651025.html 1.2.1版本的
(一)快速入门
老规矩,先看一个简单示例,有个认识。这个示例来自官方example的SparkPi:
package org.lujinhong.demo.spark /*
* 官方的sparkPi示例
*/ import scala.math.random import org.apache.spark._ /** Computes an approximation to pi */
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
val spark = new SparkContext(conf)
val slices = if (args.length > 0) args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
val count = spark.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _)
println("Pi is roughly " + 4.0 * count / n)
spark.stop()
} }
注意以上的setMaster(“local”)是自己加上去的,方便直接在本地运行。如果在集群上运行,则通过spark-submit的—master参数指定。
写好代码后,就可以直接在eclipse中右键—>运行了。
最新文章
- Oracle表格建立
- 【转】}目前比较全的CSS重设(reset)方法总结
- XPath Checker和Firebug安装与使用
- :before和 :after
- ios 中清除webView的缓存
- 关于appstore多语言版本,不可不看!
- BW知识点总结及面试要点
- 乐视mysql面试题
- zepto源码学习-04 event
- php重定向跳转
- sqlplus 打印很乱,而且很短就换行
- lda 主题模型--TOPIC MODEL--Gibbslda++结果分析
- python 之分发包
- Python常用的第三方库
- 《mysql必知必会》读书笔记--安全管理及数据库维护
- SSD中的GC机制以及Trim
- Mybatis-批量执行
- Mybatis逆向工程的配置
- 六:MyBatis学习总结(六)——调用存储过程
- python操作word之pywin32的安装
热门文章
- 如何使用定时器settimeout、setInterval执行能传递参数的函数(转)
- WordPress出现Briefly unavailable for scheduled maintenance. Check back in a minute. 的解决方法
- ubuntu-虚拟机分辨率设定
- https://github.com/ 英文库
- Impala架构
- Manning.EJB.3.in.Action.2nd.Edition
- 字符设备驱动-----Linux中断处理体系结构
- Direct2D开发:MFC下从资源文件中加载位图
- 移动mm 话费支付接入过程(ane)
- amazeui学习笔记一(开始使用4)--Web App 相关