MapReduce学习总结之架构
2024-10-22 15:25:39
一、MapReduce1.x架构
1）jobTracker：JT
作业的管理者
将作业分解成一堆任务：Task(MapTask和ReduceTask)
将任务分派给TaskTracker(TT)运行
作业监控、容错处理（task作业挂了，重启task的机制）
在一定的时间间隔内，JT没有收到TT的心跳信息，TT可能是挂了，TT上运行的任务会被指派到其他TT上去执行。
2）TaskTracker：TT
任务的执行者
在TT上执行Task(MapTask和ReduceTask)
会与JT交互：执行/启动/停止作业，发送心跳信息给JT
3）MapTask
自己开发的map任务交由task处理
解析每条记录数据，交给自己的map方法处理
将map的输出结果写到本地磁盘（有些作业仅有map,没有reduce,结果直接写到HDFS等数据存放库）
4)ReduceTask
将MapTask输出的数据进行读取
按照数据进行分组传给我们自己写的reduce方法处理
输出结果到HDFS等数据存放库
二、MapReduce2.x架构
最新文章
- 安装pip
- 【JAVA、C++】LeetCode 004 Median of Two Sorted Arrays
- jquery 实现ajax 上传文件的功能（使用插件 ajaxfileupload）
- POJ_1269_Intersecting_Lines_(计算几何基础)
- 5事件DOM零级事件跟DOM二级事件
- mybati之运行过程
- SPOJ GSS1 && GSS3 (无更新/更新单点，并询问区间最大连续和)
- Map <STL>
- POJ 3419 Difference Is Beautiful
- ecshop商品页增加编辑器fckeditor
- Python并发编程之消息队列补充及如何创建线程池（六）
- POJ 2771 Guardian of Decency（最大独立集数=顶点数-最大匹配数）
- Luogu4770 NOI2018你的名字（后缀数组+线段树）
- Linux运维学习笔记-iptables知识总结
- C语言作业03-函数
- ref:如何将自定义异常的信息显示在jsp页面上
- Spring.net(一)----Spring.NET框架简介及模块说明
- POJ3061 Subsequence 尺取or二分
- Django学习笔记之Django ORM Aggregation聚合详解
- YUM工具使用