aggregateByKey
2024-08-24 14:30:39
def seq(a:Int, b:Int) : Int ={
math.max(a,b)
} def comb(a:Int, b:Int) : Int ={
a + b
} val data = sc.parallelize(List((1,3),(1,2),(1, 4),(2,3))) data.aggregateByKey(3,4)(seq, comb).collect
输出结果是:
Array((1,10), (2,3))
参数"3"代表做比较的初始值,参数"4"代表并行化分区的数量。
参数seq代表与初始化值比较的函数。 参数comb是进行合并的方法。
将这个测试程序拿文字做一下描述就是:在data数据集中,按key将value进行分组合并,合并时在seq函数与指定的初始值3进行比较,保留大的值;然后在comb中来处理合并的方式。
最新文章
- Enterprise Solution 开源项目资源汇总 Visual Studio Online 源代码托管 企业管理软件开发框架
- 【leetcode】Pascal's Triangle II
- Photo Shop切图
- RMI的概念
- 用Canvas玩3D:点-线-面
- C#中Application.DoEvents()的作用
- object
- (转)Fibonacci Tilings
- k序数组排序
- Javascript 探路
- Girls' research - HDU 3294 (Manacher处理回文串)
- Facebook HHVM 和 Hack 手册----1.什么是Hack?
- VS2008编译汇编程序的问题
- 201521123003《Java程序设计》第8周学习总结
- mysql 证明为什么用limit时,offset很大会影响性能
- safari打开的页面数字识别变为蓝色
- Solr7.1--- 高亮查询
- IDEA配置maven(配置阿里云中央仓库)
- Linux 开机启动图形界面,shell界面
- 合并ts到mp4
热门文章
- ftp (文件传输协议)
- centOS6.4 extundelete工具恢复rm -rf 删除的目录
- Node.js 究竟是什么
- Zhulina 的高分子刷理论
- Hadoop日记Day1---Hadoop介绍
- [Effective JavaScript 笔记]第48条:避免在枚举期间修改对象
- [Effective JavaScript 笔记]第6章:库和API设计--个人总结
- django-jinjia 集成
- C语言 单引号和双引号的区别
- Android 中“TabBar”的背景拉伸问题