Hadoop环境搭建、启动和管理界面查看
一、hadoop环境搭建:
1. hadoop 6个核心配置文件的作用:
core-site.xml:核心配置文件,主要定义了我们文件访问的格式 hdfs://
hadoop-env.sh:主要配置我们的java路径
hdfs-site.xml:主要定义配置我们的hdfs的相关配置
mapred-site.xml 主要定义我们的mapreduce相关的一些配置
slaves:控制我们的从节点在哪里,datanode nodemanager在哪些机器上
yarn-site.xml:配置我们的resourcemanager资源调度
二、hadoop启动:
前提:完全分布式环境下:
192.168.1.100 |
192.168.1.110 |
192.168.1.120 |
|
zookeeper |
zk |
zk |
zk |
HDFS |
JournalNode |
JournalNode |
JournalNode |
NameNode |
NameNode |
||
ZKFC |
ZKFC |
||
DataNode |
DataNode |
DataNode |
|
YARN |
ResourceManager |
ResourceManager |
|
NodeManager |
NodeManager |
NodeManager |
|
MapReduce |
JobHistoryServer |
1.三台机器上都执行该命令,启动zk:zkServer.sh start
2.启动HDFS过程
node01上执行:
cd /export/servers/hadoop-2.7.5
bin/hdfs zkfc -formatZK
sbin/hadoop-daemons.sh start journalnode
bin/hdfs namenode -format
bin/hdfs namenode -initializeSharedEdits -force
sbin/start-dfs.sh
node02上面执行:
cd /export/servers/hadoop-2.7.5
bin/hdfs namenode -bootstrapStandby
sbin/hadoop-daemon.sh start namenode
3.启动yarn过程
node03上面执行:
cd /export/servers/hadoop-2.7.5
sbin/start-yarn.sh
node02上执行:
cd /export/servers/hadoop-2.7.5
sbin/start-yarn.sh
查看resourceManager状态
node03上面执行
cd /export/servers/hadoop-2.7.5
bin/yarn rmadmin -getServiceState rm1
node02上面执行:
cd /export/servers/hadoop-2.7.5
bin/yarn rmadmin -getServiceState rm2
node03启动jobHistory
node03机器执行以下命令启动jobHistory
cd /export/servers/hadoop-2.7.5
sbin/mr-jobhistory-daemon.sh start historyserver
停止hadoop
cd /export/servers/hadoop-2.7.5
sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/hadoop-daemon.sh stop journalnode
注意:
1.bin/hdfs namenode -format该命令仅执行一次,以后尽量不要执行,因为一执行,则所有数据都丢失!
2.hadoop完全分布式环境下,hadoop启动前,必须在三台机器上都启动ZK。
3.sbin/hadoop-daemons.sh [ start | stop ] journalnode 一次同时启动/停止所有机器,sbin/hadoop-daemon.sh [ start | stop ] journalnode 一次只能启动/停止一台机器(当前机器)
三、hadoop管理界面查看:
http://192.168.52.100:50070/dfshealth.html#tab-overview 查看hdfs
http://node01:8088/cluster 查看yarn集群
http://node01:19888/jobhistory 查看历史完成的任务
最新文章
- Mac Sublime Text complie python .py error /bin/bash: shell_session_update: command not found
- Linux 计划任务
- Cube Mapping
- Android--解析XML之SAX
- Virtual Box + CentOS Minimal + Apache搭建Web服务器
- Java 图片转换为字符图 CharMaps (整理)
- UVaLive 7503 Change (坑题。。。。。。)
- E10后,导致VS2010调试时报错“未能将脚本调试器附加到计算机...";
- 深入理解REST与Servlet架构的区别
- Linux的用户和组
- Python爬虫学习(二) ——————爬取前程无忧招聘信息并写入excel
- BeautifulSoup 用法
- Hangfire源码解析-如何实现可扩展IOC的?
- [cf contest697] D - Puzzles
- python小总结2(time,os)
- mysql语句执行顺序图示
- [C++]数值与字符串转换问题
- LeetCode 389 Find the Difference 解题报告
- react列表数据显示
- WEB应用程序:AJAX全套
热门文章
- bzoj 3872 [ Poi 2014 ] Ant colony —— 二分
- 【189】◀▶ PowerShell 系统学习
- 【黑金教程笔记之002】【建模篇】【Lab 01 永远的流水灯】—笔记&;勘误
- bzoj 2783: [JLOI2012]树【树上差分】
- springboot(九) Cache缓存和Redis缓存
- react-native页面之间的相互传值
- SQL Server OPENQUERY使用
- 无法生成DH密钥对Could not generate DH keypair
- centos7开启路由转发
- LightOj 1220 Mysterious Bacteria