分布式HDFS的安装和启动(二)
一、分布式HDFS的安装和启动
①在$HADOOP_HOME/etc/hadoop/core-site.xml文件
<property>
<name>fs.defaultFS</name>
<!-- 告知NN在哪个机器,NN使用哪个端口号接收客户端和DN的RPC请求. -->
<value>hdfs://mypc:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>
②格式化Namenode(只需要格式化一次)
命令: hadoop namenode -format
目的: ①生成/opt/module/hadoop-2.7.2/data/tmp目录
②在目录中生成fsimage_0000000000000000000文件
启动Namenode
hadoop-daemon.sh start namenode
启动datanode
hadoop-daemon.sh start datanode
群起/停止hdfs
start-dfs.sh
stop-dfs.sh
查看
Jps
通过浏览器访问 http://nn所在的主机名/ip:50070
如果NN和DN都在一台机器,且只有一个DN节点,称为伪分布式!
5、hdfs文件系统上传下载查看操作
5.1、上传文件到hdfs的根目录
hadoop fs -put hello.py /
上传文件指定副本数
hadoop fs -D dfs.replication=1 -put hello.py /
5.2、查看hdfs文件系统文件
hadoop fs -ls /
5.3、下载hdfs文件系统中的文件
hadoop fs -get /hello.py /
二、在本地运行MR
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount / /wc
hadoop运行$HADOOP/share/hadoop/mapreduce中的示例jar包,运行wordcount 统计单词,统计hdfs文件系统中根目录下的文件内容的单词,写到/wc中
三、在YARN上运行MR
①修改 $HADOOP_HOME/etc/hadoop/mapred-site.xml文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
②启动YARN
配置RM到底在哪个机器启动
修改 $HADOOP_HOME/etc/hadoop/yarn-site.xml文件
<property>
<name>yarn.resourcemanager.hostname</name>
<value>mypc</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
③启动RM,NM
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
群起/关闭yarn
start-yarn.sh
stop-yarn.sh
④查看
jps
http://RM所运行的机器主机名/ip:8088
四、提交任务
hadoop jar jar包 主类名 参数{多个输入目录,一个输出目录}
输入目录中必须全部是文件!
输出目录必须不存在!
最新文章
- [c++] Exceptions
- 多层数据库应用基于Delphi DataSnap方法调用的实现(一)返回数据集
- 《ASP.NET SignalR系列》第五课 在MVC中使用SignalR
- Log4net使用(三)
- 【PHP面向对象(OOP)编程入门教程】8.构造方法__construct()与析构方法__destruct()
- Java多线程---同步与锁
- Json.Net Demo2
- RPC简介及原理
- asp.net小结
- 后台JOB&;EVENT JOB
- MAC OSX使用篇
- javascript中数组方法小计
- 关于js封装框架类库之样式操作
- Windows Phone开发(5):室内装修
- .NET redis cluster
- Golang的类型断言
- python代码块,小数据池,驻留机制深入剖析
- GDI+学习---2.GDI+编程模式及组成类
- C++ Primer 笔记——多重继承与虚继承
- phpstorm常用快捷键(自备不全)