官方提供的hadoop-2.x版本貌似都是32位的,在64位机子下使用可能会报错,最好使用官方提供的源码进行本地编译,编译成适合本地硬件环境的64位软件包。

Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。

   native位于hadoop-2.x.x/lib/native目录下,仅支持linux和unix操作系统。

   hadoop中的zlib和gzip模块会加载本地库,如果加载失败,会提示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

   可以在core-site.xml中配置hadoop.native.lib值是否使用本地库,默认值为true。

   官方提供的hadoop-2.x版本中,native文件都是32位编译的,在实际使用64位环境中,建议本地编译后再使用。

   参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/NativeLibraries.html

编译步骤

   本次编译环境:CentOS 6.5 + jdk7 + hadoop-2.6.0-src.tar.gz。为了加快编译过程,尽量将CentOS的内存设置的大一些,还有,编译过程中CentOS必须保持连网状态

1、安装JDK、maven、findbugs

   实验版本:jdk-7u79-linux-x64.tar.gzapache-maven-3.0.5-bin.tar.gzfindbugs-3.0.0.tar.gz,分别解压到/usr/local目录下,然后配置环境变量:vi /etc/profile,配置内容如下:

export JAVA_HOME=/usr/local/jdk1..0_75
export MAVEN_HOME=/usr/local/apache-maven-3.0./
export FINDBUGS_HOME=/usr/local/findbugs-3.0./
export PATH=.:$MAVEN_HOME/bin:$JAVA_HOME/bin:$FINDBUGS_HOME/bin:$PATH

   验证:① java -version;② mvn -version;③ findbugs -version。

2、安装protoc

   protoc buffer是hadoop的通信工具,编译过程需要安装。实验版本:protobuf-2.5.0.tar.gz,官网:https://code.google.com/p/protobuf/downloads/list

   安装编译工具:① yum install -y gcc;② yum intall -y gcc-c++;③ yum install -y make,操作系统已安装的不必重复安装。

   进入/usr/local,顺序执行命令:① tar -zxvf protobuf-2.5.0.tar.gz;② cd protobuf-2.5.0;③ ./configure --prefix=/usr/local/protoc/;④ make && make install。

   安装完成后,配置环境变量,增加:export PROTOC_HOME=/usr/local/protoc/,和export PATH=..:$PROTOC_HOME/bin:..

   验证:protoc --version

3、安装其他依赖

   执行命令:① yum install -y cmake;② yum install -y openssl-devel;③ yum install -y ncurses-devel。

4、开始编译工作

   从官网下载需要编译的hadoop源码版本,本次实验:hadoop-2.6.0-src.tar.gz,官网下载:http://archive.apache.org/dist/hadoop/core/stable/

   进入/usr/local,执行解压操作:tar -zxvf hadoop-2.6.0-src.tar.gz,然后修改一个hadoop-2.x共有的bug(详见https://issues.apache.org/jira/browse/HADOOP-10110),编辑文件:usr/local/hadoop-2.6.0-src/hadoop-common-project/hadoop-auth/pom.xml,第55行左右增加如下内容:

<dependency>
<groupId>org.mortbay.jetty</groupId>
<artifactId>jetty-util</artifactId>
<scope>test</scope>
</dependency>

这里注意下,如果内存不足2G要通过swap分区扩展到2G,并且编译的时候要科学上网

然后进入目录/usr/local/hadoop-2.6.0-src中,执行命令:mvn package -Pdist,native -DskipTests -Dtar  -e -X。

   编译大概需要二三十分钟,看到一堆的SUCCESS,说明编译成功,编译后的项目在hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0中。

   只需要将编译后项目中的hadoop-2.6.0-src/hadoop-dist/target/hadoop-2.6.0文件夹拷贝到你需要的位置即可,并在配置文件$HADOOP_HOME/etc/hadoop/hadoop-env.sh末尾添加:export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"。

在编译完成后,需要在$HADOOP_HOME/hadoop/etc/hadoop/hadoop-env.sh中,export JAVA_HOME=${JAVA_HOME}之后添加$JAVA_HOME环境变量,不然hadoop启动时会报错招不到$JAVA_HOME

export JAVA_HOME=/usr/local/jdk1..0_79

最新文章

  1. 关于MapReduce中自定义分组类(三)
  2. (01-02) odoo8.0_Ubuntu14.04_nginx反代理设置
  3. tomcat本地部署war包的方式
  4. bootstrap使用性能问题
  5. socket编程与利用进程进行多并行连接
  6. (旧)子数涵数&#183;C语言——条件语句
  7. 过滤html字符的方法
  8. spring mvc上传图片
  9. linux部署mongodb及基本操作
  10. 什么是Code Review
  11. RBF径向基神经网络——乳腺癌医学诊断建模
  12. Java AOP (2) runtime weaving 【Java 切面编程 (2) 运行时织入】
  13. phpmyadmin登陆错误:The requested URL /phpmyadmin was not found on this serve
  14. Android hook神器frida(二)
  15. cf1131f 构造+并查集
  16. 005.Ceph文件系统基础使用
  17. 关于EasyUI查询功能的二级联动
  18. pyqt5 &#39;QWidget&#39; object has no attribute &#39;setCentralWidget&#39;(转)
  19. docker安装使用教程(Kali2.0)
  20. 分布式系统技术系列--租约(lease) (转载)

热门文章

  1. 2018 又一个假期 over 了
  2. 解决启动Tomcat时遇到INFO: Destroying ProtocolHandler [&quot;ajp-apr-8009&quot;]
  3. Flask之视图函数
  4. jango模板语言初识
  5. 基于rman的坏块恢复
  6. macOS Sierra上Opencv的安装与使用
  7. 机器学习第2周---炼数成金-----线性回归与Logistic
  8. 最新zencart支付宝插件(支持1.5)
  9. 使用cygwin移植Linux的项目到Windows下之总结(转)
  10. yii2 中where条件查询