步骤:input从HDFS读取内容,

split()切割分片内容,key/value,

map()方法对输入的key/value进行计算处理,先写到内存,在内存中进行分区、排序,之后将Key/value写入磁盘对应分区

combiner方法(本地计算,不是所有都适用,目的是减少网络传输)

shuffiling

从执行map task之后 到执行 redurce task 之前的过程 总称为 shuffiling

reduce

会从经过map程序计算后落在各个分区里取数据去merge进行计算

最新文章

  1. build.fxbuild打不开 Failed to create the part's controls
  2. jsp与数据库的连接
  3. jquery.tagthis和jquery.autocomplete一起实现标签
  4. 设计模式之美:Factory Method(工厂方法)
  5. LINQ标准查询操作符(一)——select、SelectMany、Where、OrderBy、OrderByDescending、ThenBy、ThenByDescending和Reverse
  6. oracle中怎么查看存储过程的源码
  7. [置顶] 和孩子们一起学Python编程
  8. 14. leetcode 383. Ransom Note
  9. 配置Meld为git的默认比较工具
  10. [Swift]LeetCode363. 矩形区域不超过 K 的最大数值和 | Max Sum of Rectangle No Larger Than K
  11. crontab下git命令无效
  12. vue从入门到进阶:组件Component详解(六)
  13. psql备份和恢复(ubuntu)
  14. 【CSS学习】--- 文本样式
  15. Reverse Words in a String I & Reverse Words in a String II
  16. [CTSC2008]网络管理(整体二分+树剖+树状数组)
  17. 使用python实现用微信远程控制电脑
  18. [COGS1000]伊吹萃香 最短路
  19. w.5 Y k J.COm 9 如何做好总经理助理
  20. 变分自编码器(Variational auto-encoder,VAE)

热门文章

  1. Fiddler手机抓包配置
  2. KiCAD泪滴
  3. grep 正则2
  4. visual studio 自定义警告标签
  5. eclipse启动Failed to load the JNI shared library
  6. k8s集群的搭建之三:flannel
  7. UnixBench算分介绍
  8. Repeatable Read
  9. RestHighLevelClient客户端相关CURD操作
  10. checkbox、radio使用jquery改变状态以及其他操作