Hadoop单机模式和伪分布式搭建教程CentOS
1. 安装JAVA环境
2.
Hadoop下载地址:
http://archive.apache.org/dist/hadoop/core/
tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local
mv hadoop-2.6.0/ hadoop/ #更改文件夹名称
chown -R hadoop:hadoop ./hadoop #修改权限
验证单机模式是否安装成功,进入/usr/local/hadoop/bin目录下,执行./hadoop -version
vi /etc/hosts 修改主机名 ip映射
为了便于Hadoop的操作,我们在为hadoop用户添加环境变量
伪分布式安装
修改 core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hd3:9000</value>
</property>
</configuration>
修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
修改 hadoop-env.sh
加入
修改yarn-env.sh
加入
export JAVA_HOME=/usr/local/jdk1.7.0_80
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
启动hadoop
先启动HDFS
start-dfs.sh
再启动YARN
start-yarn.sh
安装Hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-Javaclasses where applicable
原因:
Apache提供的hadoop本地库是32位的,而在64位的服务器上就会有问题,因此需要自己编译64位的版本。
1、首先找到对应自己hadoop版本的64位的lib包,可以自己手动去编译,但比较麻烦,也可以去网上找,好多都有已经编译好了的。
2、可以去网站:http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载对应的编译版本
3、将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下:
tar -xvf hadoop-native-64-2.7.0.tar -C hadoop-2.7.2/lib/native
4、然后增加环境变量:
- [hadoop@hadoopTest hadoop-2.7.2]$ vi /etc/profile
增加下面的内容:
- export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
- export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
让环境变量生效
source /etc/profile
最新文章
- SQLServer 2016安装时的错误:Polybase要求安装Oracle JRE 7更新51或更高版本
- WPF 自定义窗口关闭按钮
- [LeetCode] Best Time to Buy and Sell Stock II
- oracle中的sql%rowcount,sql%found、sql%notfound、sql%rowcount和sql%isopen
- Java序列化机制
- MyEclipse使用总结——MyEclipse去除网上复制下来的来代码带有的行号
- ofbiz进阶之实体引擎配置文件
- Median of Two Sorted 求两个有序数组的中位数
- PHP上传文件大小的修改
- FreeMarker简介
- dulicate symbol for architecture i386 或者其他什么CPU架构 比如i386
- Mybatis Generator 代码生成配置
- MySQL 查询出的时间相差几个小时
- nginx(二)nginx的安装
- Disable access to Windows Update
- EasyUI datebox 设置不可编辑后再次修改为可编辑失效的解决
- javascript学习笔记(九):DOM操作HTML的各种方法使用
- RabbitMQ学习系列二:.net 环境下 C#代码使用 RabbitMQ 消息队列
- python基础学习24----使用pymysql连接mysql
- JS new RegExp
热门文章
- linux虚拟机能ping通windows主机,windows主机ping不通linux虚拟机的解决办法
- 024-Spring Boot 应用的打包和部署
- vimium的使用介绍和基本用法
- CSS3 animation-iteration-count:infinite
- Linux基本命令 vim命令(一)
- python__Django 分页
- MySQL备份账号权限
- 在一个N个整数数组里面,有多个奇数和偶数,设计一个排序算法,令所有的奇数都在左边。
- 百度竞价推广URL通配符使用说明
- struts2发送ajax的几个问题(不使用struts2-json-plugin的情况下)