Accumulators
2024-09-17 07:12:36
copy的官方programming guide的代码,只有一个要说一下,Accumulators的更新是在action做的,transformation操作中对于Accumulators的增加不会即时更新的,只有action只会更新。
scala> val accum = sc.accumulator(0, "My Accumulator")
accum: spark.Accumulator[Int] = 0 scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)
...
10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s scala> accum.value
res2: Int = 10 object VectorAccumulatorParam extends AccumulatorParam[Vector] {
def zero(initialValue: Vector): Vector = {
Vector.zeros(initialValue.size)
}
def addInPlace(v1: Vector, v2: Vector): Vector = {
v1 += v2
}
} // Then, create an Accumulator of this type:
val vecAccum = sc.accumulator(new Vector(...))(VectorAccumulatorParam)
最新文章
- JavaScript学习总结——我所理解的JavaScript闭包
- R语言快速入门上手
- 配置 Spring 的声明式事务
- JAXB - Hello World
- NET Portability Analyzer
- js接收复选框的值
- DM8168 新三板系统启动
- OBIEE 简介
- HTTP协议是无状态协议,怎么理解
- .net 面试题
- 增加tomcat的缓存
- win7本地连接消失
- Ftp上传的方法
- spring boot 项目无法访问静态页面
- PHP获取目录下面所有文件和文件夹
- Matlab入门笔记(1)
- 通过ZwQuerySystemInformation获取EPROCESS
- 1. RNN神经网络模型原理
- DotNetty 学习
- lintcode 刷题 by python 总结(1)