Hadoop伪分布式部署
一、Hadoop组件依赖关系:
步骤
1)关闭防火墙和禁用SELinux
切换到root用户
关闭防火墙:service iptables stop
Linux下开启/关闭防火墙的两种方法
1.永久性生效,重启后不会恢复:
开启:chkconfig iptables on
关闭:chkconfig iptables off
2.即时生效,重启后恢复
开启:service iptables start
关闭:service iptables stop
禁用SELinux
vim /etc/sysconfig/selinux 设置SELinux=disabled
2)设置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
3)修改主机名(hostname)
vim /etc/sysconfig/network
4)IP与hostname绑定
作用:可以在window浏览器主页上输入IP地址加端口号访问linux下Hadoop的运行进程
vim /etc/hosts
内容显示如下
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.217.150 linux.chaofn.org linux
然后在window下的C:\Windows\System32\drivers\etc目录下有一个hosts文件,打开写入
192.168.217.150 linux.chaofn.org linux
5)设置SSH自动登录(所有守护进程通过SSH协议进行通信)
免秘钥设置,方便namenode向datanode的访问
切换到普通用户
输入命令 ssh-keygen -t rsa
默认是在~/.ssh/目录下
drwx------ 2 chaofn chaofn 4096 May 20 20:00 .ssh 权限为700,要改为644
进入.ssh目录,有两个文件id_rsa id_rsa.pub,一个是私钥,一个是公钥
然后复制一份id_rsa.pub,命令:cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(这个操作实现了权限的更改)
测试.命令 ssh localhost
ssh linux.chaofn.org
6)Hadoop环境变量配置:
vim /etc/profile 添加如下内容:
#HADOOP
export HADOOP_HOME=/home/chaofn/opt/setup/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin
7)修改conf目录下的配置文件
配置core-site.xml
配置hdfs-site.xml
配置mapred-site.xml、masters、slaves
8)格式化namenode
命令:hadoop namenode -format
注意格式化过程中出现的错误提示,仔细检查
9)启动Hadoop
命令:start-all.sh(启动方式有很多种)
通过jps命令查看五个进程是否全部启动
通过window的网页界面查看
输入hadoop-master.dragon.org:50030(我的域名是linux.chaofn.org)查看是否启动
注意一定要关闭linux下的防火墙,不然window无法访问
最新文章
- fix orphaned user
- 天津政府应急系统之GIS一张图(arcgis api for flex)讲解(九)地图定位模块
- Shell: test
- ps命令交叉编译
- 成为Java GC专家(4)—Apache的MaxClients参数详解及其在Tomcat执行FullGC时的影响
- 自定义JSP标签实现语言国际化(类似struts text标签),并同时支持图片、JS文件国际化
- hdu 5442 Favorite Donut 最大表示法+kmp
- Android——内存调试
- Windows phone 8 学习笔记(4) 应用的启动
- 用php进行md5解密的源码,亲测可用
- .Net Core应用搭建的分布式邮件系统设计
- 4.2 PCIe体系结构的组成部件
- PHP错误报告级别
- python学习第3天
- Python 零基础 快速入门 趣味教程 (咪博士 海龟绘图 turtle) 2. 变量
- [4G]4G模块的热重启
- Python学习笔记之在Python中实现单例模式
- LeetCode-Microsoft-Populating Next Right Pointers in Each Node
- Revit开发小技巧-连接类
- so easy, too happy