Big Data（八）MapReduce的搭建和初步使用

---恢复内容开始---

回顾:

1.最终开发MR的计算程序

2.hadoop 2.x 出现了一个yarn:资源管理>>MR没有后台场服务

　　yarn模型:container 容器，里面会运行我们的AppMaster，map/reduce Task

　　解耦

　　mapreduce on yarn

　　架构:RM NM

搭建:

　　RM要和NN岔开，NM个数要和DN一样

　　　　　　　　　　　　　　　　　　　　搭建图

----------通过官网：

mapred-site.xml > mapreduce on yarn

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

yarn-site.xml

//shuffle 洗牌 M -shuffle> R

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<property>

<name>yarn.resourcemanager.zk-address</name>

<value>node02:,node03:,node04:</value>

</property>

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>mashibing</value>

</property>

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>rm1,rm2</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>node03</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>node04</value>

</property>

流程：
我hdfs等所有的都用root来操作的
node01：

cd $HADOOP_HOME/etc/hadoop

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

vi yarn-site.xml

scp mapred-site.xml yarn-site.xml node02:`pwd`

scp mapred-site.xml yarn-site.xml node03:`pwd`

scp mapred-site.xml yarn-site.xml node04:`pwd`

vi slaves //可以不用管，搭建hdfs时候已经改过了。。。

start-yarn.sh

node03~:

yarn-daemon.sh start resourcemanager

http://node03:8088

http://node04:8088

This is standby RM. Redirecting to the current active RM: http://node03:8088/

-------MR 官方案例使用：wc
实战：MR ON YARN 的运行方式：

hdfs dfs -mkdir -p /data/wc/input

hdfs dfs -D dfs.blocksize= -put data.txt /data/wc/input

cd $HADOOP_HOME

cd share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.6..jar wordcount /data/wc/input /data/wc/output

1)webui:
2)cli:

hdfs dfs -ls /data/wc/output

-rw-r--r--  root supergroup  -- : /data/wc/output/_SUCCESS //标志成功的文件

-rw-r--r--  root supergroup  -- : /data/wc/output/part-r- //数据文件

part-r-

part-m-

r/m : map+reduce r / map m

hdfs dfs -cat /data/wc/output/part-r-

hdfs dfs -get /data/wc/output/part-r- ./

抛出一个问题：
data.txt 上传会切割成2个block 计算完，发现数据是对的~！~？后边注意听源码分析~！~~

巴特西

Big Data（八）MapReduce的搭建和初步使用

回顾:

搭建:

最新文章

热门文章