Hadoop安装-分布式-Fully
2024-09-18 13:58:38
Hadoop安装-分布式-Fully
〇、所需资料
一、配置
1、基础配置
(1)系统安装
(2)hostname主机名配置
(3)ip地址、dns、hosts映射文件配置
(4)关闭防火墙与selinux
(5)开启ntpd时钟同步
(6)jdk安装与环境变量配置
(7)机器克隆、配置
(8)ssh免密设置
2、部署配置
(1)包含内容
(2)hadoop环境变量配置
vi /etc/profile
(3)etc/hadoop下配置-core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/bigdata/tmp/hadoop/full</value>
</property>
</configuration>
(4)etc/hadoop下配置-hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/var/bigdata/hadoop/full/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/var/bigdata/hadoop/full/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop02:50090</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/var/bigdata/hadoop/full/dfs/secondary</value>
</property>
</configuration>
(3)etc/hadoop下配置-slave配置dn
hadoop02
hadoop03
(4)目录分发到其他节点
scp -r ./hadoop/ hadoop02:pwd
二、启动
1、nn格式化
bin/hdfs namenode -format
2、启动dfs
sbin/start-dfs.sh
三、验证
1、nn验证
2、dn验证
3、页面验证
最新文章
- 双系统 fedora 恢复引导
- 傻瓜式操作Nagios
- iOS网络请求之multipart/form-data提交数据
- 【VR视频播放】解决Unity模型贴图反转的问题
- [iOS微博项目 - 1.6] - 自定义TabBar
- 2014年河南省第七届ACM大赛总结
- ASP.NET-FineUI开发实践-8(二)
- java——拷贝文件夹方法
- jQuery学习笔记(一)——基础选择器、过滤选择器、表单选择器
- java 集合中将元素倒序排列
- C++实验指导
- codeforces round #405 B. Bear and Friendship Condition
- 2016 苹果全球开发者大会(WWDC)
- C# / VB.NET合并PDF指定页
- 一种转换Ipv6地址的方法
- Java中的锁——锁的分类
- 2星|《重新定义物流》:形式像PPT,内容像公关稿
- .net使用websocket
- Nmap 命令操作详解
- hdu 3911 Black And White (线段树 区间合并)