三、hadoop、yarn安装配置
本文hadoop的安装版本为hadoop-2.6.5
关闭防火墙
systemctl stop firewalld
一、安装JDK
1、下载java jdk1.8版本，放在/mnt/sata1目录下，
2、解压：tar -zxvf dk-8u111-linux-x64.tar.gz
3、vim /etc/profile
#在文件最后添加
export JAVA_HOME=/mnt/sata1/jdk1.8.0_111
export PATH=$PATH:$JAVA_HOME/bin
4、刷新配置
source /etc/profile
5、检测是否成功安装：java -version
二、安装Hadoop（单机版）
1、下载hadoop-2.6.5.tar.gz放在/mnt/sata1目录下
2、解压：tar -zxvf hadoop-2.6.5.tar.gz
三、修改配置文件
1、修改hadoop-env.sh，配置java jdk路径
echo $JAVA_HOME
/mnt/sata1/jdk1.8.0_111
#将默认的export JAVA_HOME=${JAVA_HOME}修改为：
export JAVA_HOME=/mnt/sata1/jdk1.8.0_111
2、修改core-site.xml，配置内容如下
<configuration>
<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
<!-- yang为主机名 -->
<name>fs.defaultFS</name>
<value>hdfs://yang:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/mnt/sata1/hadoop_data</value>
</property>
</configuration>
3、修改hdfs-site.xml，修改配置如下
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4、将hadoop添加到环境变量，然后更新一下环境变量：source /etc/profile
export HADOOP_HOME=/mnt/sata1/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5、刷新配置
source /etc/profile
6、配置免密（这里以单节点自己对自己免密）
1、创建dsa免密代码：ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2、将生成的公钥发送给需要做免密的主机：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
7、进入/mnt/sata1/hadoop-2.6.5/bin进行格式化
./hdfs nameode -format
8、启动服务
start-dfs.sh
注：
如果没有配置环境变量，到目录/mnt/sata1/hadoop-2.6.5/bin启动（./
start-dfs.sh
）
9、
三、yarn（单机版）
1、修改mapred-site.xml 由于在配置文件目录（/mnt/sata1/hadoop-2.6.5/etc/hadoop）下没有，需要修改名称：mv mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
2、修改yarn-site.xml，修改内容如下
<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
</configuration>
localhost：主机名
3、启动yarn
cd /mnt/sata1/hadoop-2.6.5/
./start-yarn.sh
四、Hadoop（集群版）yarn集群版
1、修改hadoop-env.sh，配置java jdk路径
echo $JAVA_HOME
/mnt/sata1/jdk1.8.0_111
#将默认的export JAVA_HOME=${JAVA_HOME}修改为：
export JAVA_HOME=/mnt/sata1/jdk1.8.0_111
2、修改core-site.xml，配置内容如下
<configuration>
<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
<!-- yang为主机名 -->
<name>fs.defaultFS</name>
<value>hdfs://yang:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/mnt/sata1/hadoop_data</value>
</property>
</configuration>
3、修改hdfs-site.xml，修改配置如下
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave01:50090</value>
</property>
4、SecondaryNameNode与namenode的分开配置,新建一个masters文件，内容为secondnamenode所在节点
/mnt/hadoop/etc/hadoop
[root@master hadoop]# cat masters
slave01
同时在hdfs-site.xml文件加入：
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave01:50090</value>
</property>
4、配置yarn
1.修改hadoop配置目录：
复制文件: cp mapred-site.xml.templta mapred-site.xml
mapred-site.xm加入以下配置：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2.yarn-site.xml加入以下配置：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
5、将hadoop的目录文件分发到其他主机
scp -r hadoop root@slave01:/mnt
scp -r hadoop root@slave02:/mnt
6、配置环境变量
export HADOOP_HOME=/mnt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
7、进入/mnt/hadoop/bin进行格式化(在master所在节点执行)
./hdfs namenode -format
6、启动服务hdfs、yarn
start-dfs.sh start-yarn.sh
注：
如果没有配置环境变量，到目录/mnt/hadoop/bin启动（./
start-dfs.sh
）
最新文章
- Linux 克隆虚拟机引起的“Device eth0 does not seem to be present, delaying initialization”
- iOS移动硬盘实现原理
- JavaScript的面向对象编程（OOP）（二）——原型
- salesforce 零基础开发入门学习（十二）with sharing 、without sharing 、无声明区别
- 使用/调用 函数的时候, 前面加不加 对象或 this?
- Please ensure that adb is correctly located at……问题解决方案
- [页面辅助] 最新的 PageValidate 类 （转载）
- HDU 2087 剪花布条 KMP入门
- JPA 系列教程14-自定义类型-@Embedded+@Embeddable
- [html5] 学习笔记- html拖放
- __x__(12)0906第三天__<meta>标签
- 34 char类型转换为int类型
- Clumsy 利用无线网卡结合Clumsy软件模拟弱网络测试
- Spring中通过Annotation来实现AOP
- 深入浅出理解c++虚函数
- docekr－image的区别和container;docker run和start,create
- WPF和WebBrowser JS交互
- 小菜菜mysql练习解读分析1——查询" 01 "课程比" 02 "课程成绩高的学生的信息及课程分数
- openvpn之EasyRSA配置篇
- UVALive 3938 - "Ray, Pass me the dishes!" - [最大连续子列和+线段树]