1.3Hadoop基础知识

1.3.1术语解释

1.Hadoop1.0

• 第一代Hadoop，由分布式文件系统HDFS 和分布式计算框架MapReduce组成

• HDFS由一个NameNode和多个DataNode 组成

• MapReduce由一个JobTracker和多个 TaskTracker组成

课堂笔记

图中的4个英文单词都是指带进程。

进程简而言之就是程序(一行行的代码)加上启动这个程序所包含的所有资源。

大致讲解一下Hadoop1.0，看图！master这个节点中有两个进程，NameNode和JobTracker；slaves这个节点中也有两个进程，DateNode和TaskTracker。首先我们要知道上文所陈列的三点，顾名思义，NameNode管存储，将资源存储在DateNode中；而JobTracker管计算和调度，(DateNode和TaskTracker在同一个地方，一个存储，一个计算，这种计算方法是最优化的)。我们可以打个比方，比作是一个公司，那么CEO—JobTracker,秘书—NameNode(真正的存储是存储在DateNode是我身上的)。

但这样的Hadoop1.0有一个致命的缺点，倘若宕机的是master这一节点，这一系统就彻底奔溃了，这时，我们想到了一个解决方法，给master作备份，然而这个备份是冷备份，也就是说不是实时备份的，因而我们所说的单点故障是由NameNode的冷备份所造成的，所以Hadoop1.0没有走下去。

master这一节点在整个集群中是不唯一的。NameNode是唯一的。slaves这个节点也不唯一，是多个的。

下面分别阐述下几个进程的作用：

NameNode：

　　1.HDFS的守护进程。

　　2.记录文件是如何被分隔成数据块的。

　　3.记录这些数据块被存储到哪些节点上。

　　4.会对内存和IO进行集中性的管理。

JobTracker：

　　客户端提交作业首先是提交给JobTracker的。

　　1.用于处理后台作业的一个程序。

　　2.JobTracker会分割任务，并分配到对应的节点上。

　　3.分析：任务未完成；任务失败。重新启动失败的任务；重新调度，让新的节点来完成这一任务。

DateNode

　　每一台slaves服务器上都有一个DateNode的进程。DateNode的工作：负责将HDFS上的数据读取到本地文件文件系统中去。

TaskTracker

　　做具体工作的一个进程。作用：启动多个JVM，并执行Map或reduse的任务。

————————————————————————————————————

2.Hadoop2.0

第二代Hadoop，为克服Hadoop1.0中 HDFS和MapReduce存在的各种问题而提出
Hadoop1.0单NameNode制约HDFS扩展性，(因为内存大小限制了节点的个数，大体为4000个节点个数) 提出HDFS Federation (联合思想：分而治之)
Hadoop1.0中MapReduce在扩展性和多框架支持等方面的不足，将JobTracker中的资源管理和作业控制功能分开，分别由组件ResourceManager和ApplicationMaster实现

ps：Spark—搭建在Hadoop上才变成分布式的。

因为有了YARN，所以可以有其他框架进入Hadoop2.0这个载体上，这是个松耦合。

3.MapReduce1.0或MRv1

MRv1中计算框架为三个部分：

编程模型——Map和Reduce函数组成
数据处理引擎——Map Task和Reduce Task组成
运行环境——一个JobTracker和多个 TaskTracker组成

4.MRv2

与MRv1相同的编程模型和数据处理引擎，不同的是运行环境
MRv2是在MRv1基础上经过加工后，运行于资源管理框架YARN之上的计算框架 MapReduce
由通用资源管理系统YARN和作业控制进程 ApplicationMaster来完成相应工作

5.YARN

Hadoop2.0中的资源管理系统，是一个通用资源管理模块，可为各类应用程序进行资源管理和调度
YARN不仅限于MapReduce一种计算框架，也可供其他框架使用，如Spark、Storm
由于YARN的通用性，下一代MapReduce 的核心已从简单的支持单一应用的计算框架转移到通用资源管理系统上

ps：MESOS也是一个通用资源管理器。

Hadoop1.0+Spark+Storm这三个框架造成了资源浪费，人力资源问题等。有YARN后，这些问题就得以优化，当Spark用的比较多时，可以将资源迁移到Spark上。

6.HDFS Federation

Hadoop2.0对HDFS进行了改进，使 NameNode可以横向扩展成多个，每个 NameNode分管一部分目录，进而产生了 HDFS Federation
该机制的引入不仅增强了HDFS的扩展性，也使HDFS具备了隔离性

1.3.2Hadoop版本变迁

Apache Hadoop主要有四个系列的版本：

0.20.X系列——最老版本
0.21.0/0.22.x系列——俗称Hadoop1.0版本
0.23.X系列——克服Hadoop在扩展性和框架通用性方面的不足
2.X系列——同0.23.X系列一样，属于 Hadoop2.0版本，主要增加了NameNode HA等功能

作业

什么是Hadoop，你理解中的Hadoop是什么，请举例说明？
Hadoop2.0生态系统中包括哪些产品，请描述他们之间的关系?

巴特西

Hadoop第三课