MapReduce 的架构
2024-09-17 02:32:22
主从结构
- 主节点，只有一个 : JobTracker ,JobTracker 一般情况下，运行在 namenode 这台机器上。
- 从节点，有很多个 : TaskTrackers , 部署在剩下的 datanode 上。
这里谈的 JobTracker 、TaskTrackers 都是 JVM。
JobTracker 负责：
- 接收客户提交的计算任务
计算任务： 肯定是一段代码---你要怎么操作我的数据。
- 把计算任务分给TaskTrackers 执行
- 监控TaskTracker的执行情况
我把任务分配给你了，能否分配成功？失败怎么办？工作的进度？工作的结果？ 如果出现了这些问题，MapReduce都会透明的帮我们解决掉这些问题。假如被分配到任务的 TaskTracker 不能够 顺利的完成任务，JobTracker会透明的把任务切换到 另外一台虚拟机上。
但是这种 切换 我们是感觉不到的，这就是用框架的好处，我们写 java 的人只需要关注 业务逻辑。
TaskTrackers 负责 ：
- 执行JobTracker分配的计算任务
最新文章
- C#通过WMI的wind32 的API函数实现msinfo32的本地和远程计算机的系统日志查看功能
- 打开Application Data
- josn
- CSS中的margin、border、padding区别
- 基于S5PC100裸机程序之SPI(上)
- 【原】1.1RDD源码解读（一）
- [BZOJ 1006] [HNOI2008] 神奇的国度 【弦图最小染色】
- ARM架构和X86架构对比
- keepalived问题
- delphi odbc远程连接sqlserver
- js中的forEach/map方法
- cuda编程-矩阵乘法（1）
- 网易云课堂-----Linux内核分析-----期末主观题
- IDEA启动Tomcat报错1099 is already in use
- 转： gcc 指定运行时动态库路径
- Vultr新推出3.5美元/月套餐，并且支持微信支付了
- 命令行创建Android应用，命令行生成签名文件，命令行查看签名信息，对APK包签名并编译运行
- TypeScript的配置文件 tsconfig.json
- cocos2d-x画线
- CSS的单位 及 css3的calc() 及 line-height 百分比