spark的RDDAPI总结
2024-08-26 00:49:34
下面是RDD的基础操作API介绍:
操作类型 |
函数名 |
作用 |
转化操作 |
map() |
参数是函数,函数应用于RDD每一个元素,返回值是新的RDD |
flatMap() |
参数是函数,函数应用于RDD每一个元素,将元素数据进行拆分,变成迭代器,返回值是新的RDD |
|
filter() |
参数是函数,函数会过滤掉不符合条件的元素,返回值是新的RDD |
|
distinct() |
没有参数,将RDD里的元素进行去重操作 |
|
union() |
参数是RDD,生成包含两个RDD所有元素的新RDD |
|
intersection() |
参数是RDD,求出两个RDD的共同元素 |
|
subtract() |
参数是RDD,将原RDD里和参数RDD里相同的元素去掉 |
|
cartesian() |
参数是RDD,求两个RDD的笛卡儿积 |
|
行动操作 |
collect() |
返回RDD所有元素 |
count() |
RDD里元素个数 |
|
countByValue() |
各元素在RDD中出现次数 |
|
reduce() |
并行整合所有RDD数据,例如求和操作 |
|
fold(0)(func) |
和reduce功能一样,不过fold带有初始值 |
|
aggregate(0)(seqOp,combop) |
和reduce功能一样,但是返回的RDD数据类型和原RDD不一样 |
|
foreach(func) |
对RDD每个元素都是使用特定函数 |
最新文章
- [面试] Design Questions
- Hibernate Open Session In View模式【转】
- [转]Stop Sharing Session State between Multiple Tabs of Browser
- 配置新系统(Win7 x64)
- 封装insertAfter、addClass、格式化时间
- 想了解JAVA的,看看(转载)
- Chapter 19_0 位操作库
- php登录利用$token验证
- js阻止浏览器默认事件
- 51nod_1627:瞬间移动
- js的dom操作和函数
- DataGrid 如何得到DataGridRow 和DataGridCell 对象
- springMVC 使用ajax 出现No serializer found for class异常
- Java9发布回顾Java 8的十大新特性
- Java开发笔记(三十九)日期工具Date
- iOS坐标转换失败?
- bananapi+OLED做的一个打地鼠游戏,c语言编程
- Runloop, 多线程
- poj1142
- 【Python量化投资】基于技术分析研究股票市场
热门文章
- Spring+Spring+Hibernate环境搭建
- Lab_1:练习2——使用qemu执行并调试lab1中的软件
- [转帖]深度剖析一站式分布式事务方案 Seata-Server
- ZYNQ笔记(4):PL触发中断
- Windows docker k8s asp.net core
- 使用 Navicat Premium 将 sql server 的数据库迁移到 mysql 的数据库中
- ajax 执行成功以后返回的数据走的是error方法而不是success方法的问题
- .NET中的泛型概述
- WPF 在MVVM模式下弹出子窗体的方式
- Java自学-数字与字符串 比较字符串