copy的官方programming guide的代码,只有一个要说一下,Accumulators的更新是在action做的,transformation操作中对于Accumulators的增加不会即时更新的,只有action只会更新。

scala> val accum = sc.accumulator(0, "My Accumulator")
accum: spark.Accumulator[Int] = 0 scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)
...
10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s scala> accum.value
res2: Int = 10 object VectorAccumulatorParam extends AccumulatorParam[Vector] {
def zero(initialValue: Vector): Vector = {
Vector.zeros(initialValue.size)
}
def addInPlace(v1: Vector, v2: Vector): Vector = {
v1 += v2
}
} // Then, create an Accumulator of this type:
val vecAccum = sc.accumulator(new Vector(...))(VectorAccumulatorParam)

  

最新文章

  1. JavaScript学习总结——我所理解的JavaScript闭包
  2. R语言快速入门上手
  3. 配置 Spring 的声明式事务
  4. JAXB - Hello World
  5. NET Portability Analyzer
  6. js接收复选框的值
  7. DM8168 新三板系统启动
  8. OBIEE 简介
  9. HTTP协议是无状态协议,怎么理解
  10. .net 面试题
  11. 增加tomcat的缓存
  12. win7本地连接消失
  13. Ftp上传的方法
  14. spring boot 项目无法访问静态页面
  15. PHP获取目录下面所有文件和文件夹
  16. Matlab入门笔记(1)
  17. 通过ZwQuerySystemInformation获取EPROCESS
  18. 1. RNN神经网络模型原理
  19. DotNetty 学习
  20. lintcode 刷题 by python 总结(1)

热门文章

  1. iOS多线程GCD(转)
  2. 第13章 使用Bind提供域名解析服务
  3. 滚动光效shader
  4. Pascal’s Triangle
  5. poj1094 拓扑 Sorting It All Out
  6. HDOJ 2544
  7. doTjs源码研究笔记
  8. GAE初探-一鼻子灰
  9. python如何获取某模块的版本信息
  10. 菜单栏展开和收起效果(纯js)