Hadoop的完全分布式搭建
一、准备虚拟机两台
1.将虚拟机进行克隆https://www.cnblogs.com/the-roc/p/12336745.html
2.1将克隆虚拟机的IP修改一下
vi /etc/sysconfig/network-scripts/ifcfg-ens33
完成后:systemctl restart network
2.2 修改主机名
vim /etc/hostname
reboot 重启生效
2.3修改ip与主机映射
vim /etc/hosts
reboot 重启
二、开始完全分布式搭建
1.1先清空克隆机dfs文件夹的内容
cd /opt/software//hadoop-2.7.7/tmp/dfs/
删除所有 rm -rf *
1.2在原机上添加从节点ip映射
vim /etc/hosts
1.3做ssh免密
生成密钥对 ssh-keygen
ssh-copy-id hdp05
1.4修改hdfs-site.xfs
两台虚拟机都需要修改
vim /opt/software/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
1.5把从节点别名加主节点的slaves 配置中
vim /opt/software/hadoop-2.7.7/etc/hadoop/slaves
1.6启动测试
start-dfs.sh(主节点启动,从节点也会启动DataNode)
http://主机ip :50070 进入网页如图
三.sbin下的脚本启动
1.start-all.sh/stop-all.sh
启动/停止所有(5个)的软件【NameNode,DataNode,secondarynamenode,nodemanager,resourcesmanager】
2.start-dfs.sh/stop-dfs.sh
一次性启动/停止3个软件【NameNode,DataNode,secondarymanager】
3.start-yarn.sh/stop-yarn.sh【MapReduce使用】
一次性启动/停止2个软件【nodemanager,resourcesmanager】
4.hadoop-daemon.sh start XXX
只想启动/停止其中某一个软件【NameNode,DataNode,secondarymanager】
5.yarn-daemon.sh start XXX
只想启动/停止其中某一个软件【nodemanager,resourcesmanager】
最新文章
- 字符串hash算法
- 前端打包/自动化构建工具:fis3
- 手机访问 localhost
- 分析循环 Analysis of Loops-------geeksforgeeks 翻译
- PAT 解题报告 1052. Linked List Sorting (25)
- sensor BMA250源代码执行分析
- jquery的map()和each()方法
- Stackdump: 一个可以离线看stackoverflow的工具
- TCP Linger的坑
- - Shell - sort处理大文件(页 1) - ChinaUnix.net
- mysql 常用指令
- [Ubuntu] 运行.AppImage格式文件
- [Python]list.append字典的时候,修改字典会导致list内容变化的问题
- Scrapy框架的学习(6.item介绍以及items的使用(提前定义好字段名))转载https://blog.csdn.net/wei18791957243/article/details/86259688
- 04-TypeScript中的方法新功能(上)
- [skill][funny] 一个很厉害的for循环
- 如何在idea中设置Tomcat虚拟路径
- git版本超前了N个版本且落后了N个版本的解决办法
- 错误: 未能完成程序集的安装(hr = 0x8007000b),.net程序关于使用Oracle.DataAccess.dll不同版本x86和x64问题,即oracle odp.net 32位/64位版本的问题
- 关于Oracle11g R2的学习笔记
热门文章
- jvm 内存结构
- cesium1.65api版本贴地贴模型标绘工具效果(附源码下载)
- AndroidStudio报错:Emulator: I/O warning : failed to load external entity ";file:/C:/Users/Administrator/.AndroidStudio3
- 「Flink」Flink中的时间类型
- 通过Java代码获取系统信息
- Win10多用户同时登陆远程桌面
- C语言再学习part3—算法
- FPGA分频与倍频的简单总结(涉及自己设计,调用时钟IP核,调用MMCM原语模块)
- 并发编程之J.U.C的第一篇
- python数据类型(第三弹)