[学习笔记]

一个完整的RDD任务由两部分组成:Transformation和 Action。Transformation用于对RDD的创建,还可以把老的RDD通过Transformation来生成新的RDD。例如,map就 是一种transformation操作,它用于将已有RDD的每个元素传入一个自定义的函数,并得到一个新的元素,然后将所有的新元素组成一个新的 RDD。但RDD一大特性是延迟(lazy)计算,即纵使你执行这些Transformation操作,这些操作也不会执行。换句话说, transformation操作不会触发spark程序执行的,它们只是先记录了对RDD所做的一系列操作,只有之后碰上一个action操作,那么前 面所有的transformation才会执行。collect和reduce就是action操作。

文章转载自原文:https://blog.csdn.net/qq_44596980/article/details/93308631

最新文章

  1. noip2013 火柴排序
  2. ng-bind,ng-cloak优化数据显示
  3. Spring MVC + MyBatis整合(IntelliJ IDEA环境下)
  4. Android Preview显示
  5. NAT,网络地址转换详解
  6. Android--监听ListView滚动到最底部
  7. 纯CSS 多图片轮播
  8. ASP.Net使用母版页窗
  9. 19 Zabbix 利用Scripts栏目对Hosts远程执行命令
  10. 在DOM加载之前insertScript
  11. 启用hyper-v后无法卸载vmware
  12. spring-framework-中文文档一:IoC容器、介绍Spring IoC容器和bean
  13. Python基础之面向对象的软件开发思路
  14. Linux学习笔记之七————Linux常用命令之编辑器、服务器
  15. 欧拉函数  已经优化到o(n)
  16. mybatis plus 主键生成 Twitter雪花算法 id 及修改id为字符型
  17. JNI 数据类型转换
  18. Windows8.1远程桌面时提示凭据不工作的解决方案
  19. 【转】nGrinder 简易使用教程
  20. leetcode:Same Tree【Python版】

热门文章

  1. D3DFVF_XYZ和D3DFVF_XYZRHW的区别
  2. 【做题记录】AtCoder AGC做题记录
  3. Babel7知识梳理
  4. ubuntu下如何安装hg(mercurial)?
  5. js图片转base64编码
  6. yum -y与 yum有什么区别
  7. yum搭建LAMP环境
  8. ubuntu下virtualbox的安装、卸载
  9. AJAX的个人见解
  10. Day04:循环结构(while、do-while、for)