hadoop 2.5.1 、Hadoop 2.7 Hadoop 2.6
export JAVA_HOME=/usr/local/opt/jdk1.7.0_67export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz
修改core-site.xml
<property>
<name>fs.defaultFS</name>
<value</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-data/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
修改hdfs-site.xml
<property>
<name>dfs.namenode.name.dir</name>
<value></value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hdfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.federation.nameservices</name>
<value>t1</value>
</property>
<property>
<name>dfs.namenode.rpc-address.master</name>
<value>t1:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.master</name>
<value>t1:23001</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address.master</name>
<value>t1:23002</value>
</property>
</configuration>
修改yarn-site.xml
</configuration>
5 配置 slave
vi etc/hadoop/slaves
t3
6 HDFS 初始化
./bin/hdfs namenode -format
如果 format 出异常 JAVA环境变量监察一下。
7 将 hadoop 目录分发至其余节点
http://master:50070/ hdfs
http://master:50030/ mapReduce
成功后可以运行个例子
hadoop-2.7.2/share/hadoop/mapreduce 这里有一坨。
**************************** HDFS ***************************
查看系统的libc版本
# ll /lib64/libc.so.6
lrwxrwxrwx 1 root root 11 Apr 24 16:49 /lib64/libc.so.6 -> libc-2.5.so
系统中的版本为2.5
将系统中的glibc升级为2.9
下载glibc
wget http://ftp.gnu.org/gnu/glibc/glibc-2.9.tar.bz2
下载glibc-linuxthreads
wget http://ftp.gnu.org/gnu/glibc/glibc-linuxthreads-2.5.tar.bz2
解压
$tar -jxvf glibc-2.9.tar.bz2
$cd glibc-2.9
$tar -jxvf ../glibc-linuxthreads-2.5.tar.bz2
$cd ..
$export CFLAGS="-g -O2"
$./glibc-2.9/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
$make
#make install
安装编译过程中需要注意三点:
1、要将glibc-linuxthreads解压到glibc目录下。
2、不能在glibc当前目录下运行configure。
3、加上优化开关,export CFLAGS="-g -O2",否则会出现错误
***************************** HIVE *****************************
http://apache.fayea.com/hive/
最新文章
- HDU-Minimum Inversion Number(最小逆序数)
- Event List
- C++Builder 中 Enter键或者Tab键无效
- 【secureCRT】会话保存的路径
- (转)虚拟机的桥接模式和NAT模式区别
- long long 读数scanf的转换 #define
- HTML5 API——无刷新更新地址 history.pushState/replaceState 方法
- [未完成]WebService学习第一天学习笔记
- unite
- 在Eclipse中编译maven项目出的问题
- scala中的view bound与context bound
- Linux下搭建 Cocos2d-x-2.1.4 编译环境
- RabbitMQ持久化编码注意事项
- 算法精解:DAG有向无环图
- Spring Session event事件分析
- 重构客户注册-基于ActiveMQ实现短信验证码生产者
- css 浮动问题 display显示 和 光标设置cursor
- 百度分享不支持https的解决方案(单独部署静态文件)
- 《2019测试面试题-上海悠悠.pdf》
- 用requestAnimationFrame优化Web动画
热门文章
- POJ 2299 Ultra-QuickSort【树状数组 ,逆序数】
- Rx = Observables + LINQ + Schedulers
- javascript 异或运算符实现简单的密码加密功能
- canvas 连线曲线图封装
- luogu P1586 四方定理(背包)
- ZOJ 2702 Unrhymable Rhymes
- JAVA学习第四十六课 — 其它对象API(二)Date类 &;amp; Calendar类(重点掌握)
- opecv2 MeanShift 使用均值漂移算法查找物体
- Double Vision (Unity 5.0)
- xp秘钥