MapReduce计算原理及步骤
2024-08-27 21:42:22
步骤:input从HDFS读取内容,
split()切割分片内容,key/value,
map()方法对输入的key/value进行计算处理,先写到内存,在内存中进行分区、排序,之后将Key/value写入磁盘对应分区
combiner方法(本地计算,不是所有都适用,目的是减少网络传输)
shuffiling
从执行map task之后 到执行 redurce task 之前的过程 总称为 shuffiling
reduce
会从经过map程序计算后落在各个分区里取数据去merge进行计算
最新文章
- build.fxbuild打不开 Failed to create the part's controls
- jsp与数据库的连接
- jquery.tagthis和jquery.autocomplete一起实现标签
- 设计模式之美:Factory Method(工厂方法)
- LINQ标准查询操作符(一)——select、SelectMany、Where、OrderBy、OrderByDescending、ThenBy、ThenByDescending和Reverse
- oracle中怎么查看存储过程的源码
- [置顶] 和孩子们一起学Python编程
- 14. leetcode 383. Ransom Note
- 配置Meld为git的默认比较工具
- [Swift]LeetCode363. 矩形区域不超过 K 的最大数值和 | Max Sum of Rectangle No Larger Than K
- crontab下git命令无效
- vue从入门到进阶:组件Component详解(六)
- psql备份和恢复(ubuntu)
- 【CSS学习】--- 文本样式
- Reverse Words in a String I &; Reverse Words in a String II
- [CTSC2008]网络管理(整体二分+树剖+树状数组)
- 使用python实现用微信远程控制电脑
- [COGS1000]伊吹萃香 最短路
- w.5 Y k J.COm 9 如何做好总经理助理
- 变分自编码器(Variational auto-encoder,VAE)