hadoop基本认识
2024-08-26 21:12:21
还是hadoop专有名词进行说明。
Hadoop框架中最核心设计就是:HDFS和MapReduce.还有yarn
HDFS提供了海量数据的存储。(分布式文件系统)
MapReduce提供了对数据的计算.(分布式计算框架)
Hadoop的集群主要由 NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker组成.
NameNode中记录了文件是如何被拆分成block以及这些block都存储到了那些DateNode节点.
NameNode同时保存了文件系统运行的状态信息.
DataNode中存储的是被拆分的blocks.
Secondary NameNode帮助NameNode收集文件系统运行的状态信息.
JobTracker当有任务提交到Hadoop集群的时候负责Job的运行,负责调度多个TaskTracker.
TaskTracker负责某一个map或者reduce任务.
其中NameNode,secondary NameNode,JobTracker运行在Master节点上,DataNode和TaskTracker运行在Slave节点上。
后面会写一些hadoop在工作中常用的命令。和hadoop开发上的问题。
最新文章
- CDDA 源码解析
- FLEX布局的一些问题和解决方法
- 【java】之对List中每个对象元素按时间顺序排序
- dev_set_draw的fill和margin模式
- Velocity笔记
- inotify配合rsync实现文件同步
- sql server 2008 express 使用ip登陆 error:40 错误:2
- Python操作memcached及redis
- 无法加载协定为“ServiceReference1.xxxxx”的终结点配置部分,因为找到了该协定的多个终结点配置。请按名称指示首选的终结点配置部分
- C#堆栈和托管堆
- Freemarker例子
- POJ 1329 三角外接圆
- [置顶] css3 befor after 简单使用 制作时尚焦点图相框
- web前端学习之路
- Linux入门之常用命令(5)Bash
- Xpath语法详解
- 小A的位运算-(前缀和+位运算)
- php数组函数大全
- java329 继承、类的高级概念
- 二十四. Python基础(24)--封装
热门文章
- python 列表的内容赋值
- static使用实例
- 纯css3实现的圆形旋转分享按钮
- 一款纯css3实现的超炫动画背画特效
- wp中的位图
- PHP中Array的hash函数实现
- python 提示 AttributeError: module 'json' has no attribute 'dumps'
- iOS边练边学--Segue数据逆传(用block代替delegate)
- MongoDB(四):MongoDB连接和创建数据库
- Spring 4 官方文档学习(十一)Web MVC 框架