MR引擎：

MapReduce：是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，每个阶段都是用键值对（key/value）作为输入和输出，非常适合数据密集型计算。Map/Reduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性；每个节点会周期性地返回它所完成的工作和最新的状态。如果一个节点在设定的时间内没有进行心跳上报，主节点（可以理解为主服务器）就会认为这个节点down掉了，此时就会把分配给这个节点的数据发到别的节点上运算，这样可以保证系统的高可用性和稳定性。因此它是一个很好的计算框架。

TEZ引擎：是基于Hadoop YARN之上的DAG（有向无环图，Directed Acyclic Graph）计算框架。核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、Merge和Output， Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等。这样，这些分解后的元操作可以任意灵活组合，产生新的操作，这些操作经过一些控制程序组装后，可形成一个大的DAG作业，从而可以减少Ｍap/Reduce之间的文件存储，同时合理组合其子过程，也可以减少任务的运行时间，具体运行过程如下所示：

参考资料：

http://www.sohu.com/a/131167936_465944

最新文章

1. mysql 日志文件mysql-bin文件清除方法，和mysql-bin相关文件的配置
2. dfs常见的配置文件中的value与description
3. Orthomcl的详细使用
4. 启语外语培训网SEO历程
5. 打开已存在 Android项目及常见的问题
6. linux crt
7. Verdigris: Qt without moc
8. php结合redis实现高并发下的抢购、秒杀功能 (转载)
9. CentOS7 配置花生壳开机启动
10. （三十二）DatePicker和自定义键盘
11. Java 8 Lambda 表达式(二)
12. PTA之多项式求值
13. 【AtCoder】AGC017
14. 独家 | 蚂蚁金服TRaaS技术风险防控平台解密
15. AppStore上传已经开发好的App的方法
16. 浅析网站建设的PHP，JAVA语言分析
17. 修改Nginx 伪静态Rewrite规则 安装Chevereto
18. DELPHI DOUBLE不解之迷
19. vue+webpack2实现路由的懒加载
20. js生成guid（唯一标识码）

热门文章

1. .Net上传图片压缩质量，不改变尺寸
2. C#List的创建例程
3. Thread类
4. phonegap3.0+HTMLl5 开发 ipad app 总结
5. Neutorn LBaaS 原理
6. JAVA特性一：封装
7. Java容器中的元素输出
8. 完全卸载mysql数据库教程
9. G - Game HDU - 5242 （数链剖分）
10. 解压命令tar zxvf中zxvf的意思