RDD基本操作之Action
2024-09-01 07:37:25
Action介绍
在RDD上计算出来一个结果
把结果返回给driver program或保存在文件系统，count(),save
常用的Action
reduce()
接收一个函数，作用在RDD两个类型相同的元素上，返回新元素。
可以实现，RDD中元素的累加，计数，和其它类型的聚集操作。
举例：
val rdd = sc.parallelize(Array(1,2,3,3))
rdd.collect()
collect()
遍历整个RDD，想driver program返回RDD的内容
需要单机内存能容纳下（因为数据要拷贝给driver，一般是测试的时候使用）
大数据的时候，使用saveAsTextFile() action等。
take(n)
返回RDD中的n个元素（同时尝试访问最少的的partitions）
返回结果是无序的，一般为测试时候使用
top(n)
返回排序后的前n个，（根据RDD中的数据比较器）
RDD的特性
最新文章
- <<MySchool数据库设计优化>> 内部测试
- commonjs AMD,CMD
- UDP收发buffer尺寸对收发包流量的影响
- angularjs 1.x $q模块使用
- .NET Mvc Razor也可以这样玩！
- AlwaysOn数据同步问题探究
- VC++ 标准C++中的string类的用法总结
- STF（SmartPhone Test Farm）Mac版本环境搭建
- spring读取properties的方法
- 第六篇、微信小程序-form组件
- tomcat启动报错：Unsupported major.minor version 51.0
- C语言基础学习运算符-关系运算符
- 批处理删除IIS的everyone、users的访问权限
- 使用EF操作Mysql数据库中文变问号的解决方案
- SVN/GIT精简使用教程
- “多个单核CPU”与“单个多核CPU”哪种方式性能较强？
- C# 多线程下 静态类字段异常
- MySQL表与表之间的SQL Joins图介绍
- Python 增强类库
- 只需两步获取任何微信小程序源码