Scala当中什么是Transformation和 Action,以及它们俩的区别是什么?
2024-09-05 05:23:34
[学习笔记]
一个完整的RDD任务由两部分组成:Transformation和 Action。Transformation用于对RDD的创建,还可以把老的RDD通过Transformation来生成新的RDD。例如,map就 是一种transformation操作,它用于将已有RDD的每个元素传入一个自定义的函数,并得到一个新的元素,然后将所有的新元素组成一个新的 RDD。但RDD一大特性是延迟(lazy)计算,即纵使你执行这些Transformation操作,这些操作也不会执行。换句话说, transformation操作不会触发spark程序执行的,它们只是先记录了对RDD所做的一系列操作,只有之后碰上一个action操作,那么前 面所有的transformation才会执行。collect和reduce就是action操作。
文章转载自原文:https://blog.csdn.net/qq_44596980/article/details/93308631
最新文章
- noip2013 火柴排序
- ng-bind,ng-cloak优化数据显示
- Spring MVC + MyBatis整合(IntelliJ IDEA环境下)
- Android Preview显示
- NAT,网络地址转换详解
- Android--监听ListView滚动到最底部
- 纯CSS 多图片轮播
- ASP.Net使用母版页窗
- 19 Zabbix 利用Scripts栏目对Hosts远程执行命令
- 在DOM加载之前insertScript
- 启用hyper-v后无法卸载vmware
- spring-framework-中文文档一:IoC容器、介绍Spring IoC容器和bean
- Python基础之面向对象的软件开发思路
- Linux学习笔记之七————Linux常用命令之编辑器、服务器
- 欧拉函数 已经优化到o(n)
- mybatis plus 主键生成 Twitter雪花算法 id 及修改id为字符型
- JNI 数据类型转换
- Windows8.1远程桌面时提示凭据不工作的解决方案
- 【转】nGrinder 简易使用教程
- leetcode:Same Tree【Python版】