Hadoop2.7.3源码编译
2024-10-21 07:51:13
一、编译源码步骤演示详解
需求：官网下载的hadoop包，执行hadoop命令时，会有警告信息，为去除此警告，需要重新编译hadoop相应版本的源码，替换hadoop安装包lib目录下的native(警告如下图所示)
. 编译hadoop环境要求
1、必须在linux系统下编译（以centos6.4为例）
2、编译使用的JDK版本必须是1.6以上
3、编译需要使用Maven版本3.0以上（因为源码是由Maven管理的）
4、安装Findbugs插件工具，版本1.3.9
5、安装CMake编译工具，版本2.6或最新版本
6、安装zlib devel
7、安装openssl devel
8、编译时必须连接互联网
=================================== 编译开始 ===================================
第一步：解压hadoop源码安装包：版本以hadoop-2.7.3-src.tar.gz为例，解压之前需在此链接中下载2.7.3版本的源码包(https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/)
第二步：配置JDK, 并使profile文件生效，版本：1.8 （必须得有root权限）
第三步：配置Maven，并使profile文件生效， （必须得有root权限）
第四步：安装gcc/gcc-c++/make工具，（必须得有root权限）
第五步：解压安装protobuf工具，此包提供下载链接：http://pan.baidu.com/s/1kUK5HHH
第六步：配置protobuf环境变量
第七步：下载安装CMake、openssl-devel、ncurses-devel依赖包
第八步：开始编译hadoop源码包，先移动到hadoop源码安装目录下
编译成功！整个过程大约需要等待20~30分钟，如下图
第九步：替换原来的native目录，执行命令查看下，不再提示警告，编译好的文件在源码安装包的hadoop-dist目录下，具体目录替换目录如下图所示：
=================================== 编译结束 ===================================
最新文章
- Android UI:ListView -- SimpleAdapter
- 运行maven项目
- JSP基础——创建、启动、浏览项目
- FIO 测试磁盘iops 以及读写
- Stencil Buffer
- 虚拟机service network restart没有反应解决方法
- ASP.NET MVC中的拦截器
- [androd] android的在线源码网站，各个版本都有（目前已到俺android 4.2，但不包含kernel部分的代码）
- thinkphp利用行为扩展实现监听器
- 端到端测试工具--testcafe
- P1052 过河
- Day14--Python--函数二,lambda,sorted,filter,map,递归,二分法
- springboot(二十)：数据库连接池介绍
- django分页的东西， 不详细， 但是也足够了。
- Java命令学习系列（七）——javap
- Charles的安装与破解
- SliceBox
- tableView的使用(一)
- TOJ 1690 Cow Sorting (置换群)
- hdu 2578 Dating with girls(1) (hash)