图解linux安装hadoop
安装步骤:
一、准备工作
1.解压文件
[root@localhost soft]# tar -zxvf hadoop-2.4.1.tar.gz
2.改名:
[root@localhost soft]# mv hadoop-2.4.1 hadoop 改名
3.关闭防火墙
iptables防火墙状态: service iptables status
开启防火墙: service iptables start
关闭防火墙: service iptables stop
service iptables stop #临时关闭,重启无效
chkconfig iptables off #永久关闭,重启生效
4.[root@master Desktop]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
注意:执行后需要重新启动linux,再进入桌面右键 Open in Terminal就进入master了
5. 配置master
[root@master Desktop]# vi /etc/hosts //注意重启后是要root身份才可以write
192.168.119.129 master (本机ip地址,可以通过ifconfig查询 要都能平通)
[root@master Desktop]# ping master
[root@master Desktop]# ping 192.168.119.129
6.配置无密钥ssh
[root@master Desktop]# cd
[root@master ~]$ ssh-keygen -t rsa #一直回车生成密钥
[root@master ~]# cd /root/.ssh
[root@master .ssh]# cat id_rsa.pub >> authorized_keys
安装完成,关闭即可。
二、配置hadoop
1、配置hadoop /etc/profile
[qq@master Desktop]$ su root
Password:
[root@master Desktop]# cd
[root@master ~]# vi /etc/profile
#set java environment
JAVA_HOME=/soft/jdk1.7.0_79
HADOOP_HOME=/soft/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/etc/sbin:$PATH
环境变量放到最后即可。
[root@master ~]# source /etc/profile
[root@master ~]#
2、(1)配置hadoop hadoop-env.sh
[root@master ~]# cd /soft
[root@master soft]# cd hadoop
[root@master hadoop]# cd etc
[root@master etc]# cd hadoop
[root@master hadoop]# vi hadoop-env.sh
export JAVA_HOME=/soft/jdk1.7.0_79
export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop/
配置文件位置:
[root@master hadoop]# source hadoop-env.sh
(2)设置环境变量jdk
1. [root@master hadoop]# vi ~/.bash_profile
//有以下2行
export JAVA_HOME=/soft/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
配置文件位置:
2.[root@master hadoop]# source ~/.bash_profile //立即生效
3、配置hadoop自身文件
[root@master hadoop]# vi core-site.xml
(1) core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
配置文件位置:
(2) mapred-site.xml
[root@master hadoop]# vi mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
原文件为空,添加文件位置:
(3) hdfs-site.xml
[root@master hadoop]# vi hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/soft/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/soft/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
配置文件位置:
(4) [root@master hadoop]# vi yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
</configuration>
配置文件位置:
4 格式化新的分布式文件系统(hdfs namenode -format 或 hadoop namenode -format)
[root@master hadoop]# cd
[root@master ~]# cd /soft/hadoop/sbin
[root@master sbin]# hadoop namenode -format
.....
17/01/13 23:26:25 INFO common.Storage: Storage directory /soft/hadoop/hdfs/name has been successfully formatted.
17/01/13 23:26:25 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/01/13 23:26:25 INFO util.ExitUtil: Exiting with status 0
17/01/13 23:26:25 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.119.129
************************************************************/
5 启动线程start-all.sh
[root@master sbin]# ./start-all.sh
注:有一个选择yes,一定要选!!!
6 测试安装hadoop成功
[root@master sbin]# jps
5395 DataNode
6926 NodeManager
6837 ResourceManager
7045 Jps
5289 NameNode
5624 SecondaryNameNode
我测试结果为:
[root@master sbin]# jps
3542 NameNode
3886 SecondaryNameNode
4028 ResourceManager
4431 Jps
4121 NodeManager
7.最后在linux的火狐浏览器中 localhost:8088 显示小象即配置成功。
END
最新文章
- ubuntu自定义分辨率
- Visio作图
- iterator 及 迭代器模式(转发)
- nginx配置文件nginx.conf超详细讲解
- 41.Android之图片放大缩小学习
- TYVJ P1013 找啊找啊找GF Label:动态规划
- hdu 3336【Count the string】(KMP)
- 如何在Window上使用Git
- 那些年不错的Android开源项目(转)
- Catch Up 朋友小聚 - 地道英语 - BBC Learning English BBC英语教学 - 爱思英语网
- iOS中常见的锁
- centos7下vim8.1的编译安装教程
- Springboot &; Mybatis 构建restful 服务五
- 更改MAC地址,突破公司绑定MAC地址的限制
- java操作FTP的一些工具方法
- Linux tgtadm: Setup iSCSI Target ( SAN )
- python字符串与列表的相互转换
- Apache 修改端口号
- Redhat Linux网卡配置与绑定
- 大整数相加 a+b 的c语言实现
热门文章
- delphi完美经典-第16章 Delphi数据库程序设计----使用BDE组件
- SpringBoot_异常_01_Caused by: java.lang.BootstrapMethodError: java.lang.NoSuchMethodError
- 时间复杂度O(n)与空间复杂度O(1)
- codeforces 710B B. Optimal Point on a Line(数学)
- Python 爬虫 —— 文件及文件夹操作
- ACM学习历程—BNUOJ3685 Building for UN(构造)
- 【Google】非下降数组
- bzoj 4372 烁烁的游戏 —— 动态点分治+树状数组
- ECMAScript函数表达式
- TFS自定义开发中的反射应用