3.环境搭建-Hadoop(CDH)集群搭建
目录
本文主要是在上节CentOS集群基础上搭建Hadoop集群。
实验环境
- Hadoop版本:CDH 5.3.6
*本实验项目所需软件均可在百度网盘链接:http://pan.baidu.com/s/1dFeNR6h 密码:1zx4中获取。
安装 Hadoop
上传hadoop文件到/usr/local
目录下
rz
解压
tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz
删除tar包
rm -rf hadoop-2.5.0-cdh5.3.6.tar.gz
重命名
mv hadoop-2.5.0-cdh5.3.6 hadoop
设置环境变量
vi ~/.bashrc
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin
生效设置
source ~/.bashrc
- 1
- 1
hadoop
hadoop version
yarn
yarn version
创建/usr/local/data
目录
配置文件
修改core-site.xml
文件
cd /hadoop/etc/hadoop
ls
vi core-sie.xml
<property>
<name>fs.default.name</name>
<value>hdfs://sparkproject1:9000</value>
</property>
修改hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/usr/local/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/data/datanode</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/data/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
修改mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
修改yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>sparkproject1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
修改slaves
sparkproject2
sparkproject3
sparkproject1是主节点,sparkproject2和sparkproject3是从节点
在另外两台虚拟机上搭建hadoop
在sparkproject1上使用scp命令将配置好的文件传输到另外两个虚拟机上
cd /usr/local
scp -r hadoop root@sparkproject2:/usr/local
scp -r hadoop root@sparkproject3:/usr/local
scp ~/.bashrc root@sparkproject2:~/
scp ~/.bashrc root@sparkproject3:~/
在sparkproject2和sparkproject3上分别执行
source ~/.bashrc
在sparkproject2和sparkproject3的/usr/local目录下创建data目录
cd /usr/local
mkdir data
启动hdfs集群
格式化namenode
在sparkproject1上执行
hdfs namenode –format
启动集群
start-dfs.sh
查看是否启动成功
在浏览器中输入sparkproject1:50070
查看状态
上传测试文件
vi hello.txt
Hello world !
hdfs dfs -put hell.txt /hello.txt
在网页端查看上传的文件
启动yarn集群
start-yarn.sh
- 1
- 1
使用jps
检查各节点启动状态,sparkproject1上启动ResourceManager,sparkproject2和sparkproject3节点上启动NodeManager
在浏览器中输入sparkproject1:8088
查看
至此,hadoop集群搭建完成,下一步将安装Hive。
更多文章:Spark大型电商项目实战:http://blog.csdn.net/u012318074/article/category/6744423
最新文章
- kettle系列-我的开源kettle管理平台[kettle-manager]介绍
- [NHibernate]存储过程的使用(一)
- 用帝国CMS时遇到的问题
- ionic rang在弹出modal中不可拖拽的问题
- 【HDU 2955】Robberies(DP)
- eclipse中新建javaweb项目,查看某些类的源码
- TopCoder SRM 588 DIV2 KeyDungeonDiv2
- 【Unity Shaders】学习笔记——SurfaceShader(二)两个结构体和CG类型
- 7Zip 来备份重要文件(夹)
- 【转】android蓝牙开发---与蓝牙模块进行通信--不错
- 高精度快速幂(Java版)
- 201521123039《Java程序设计》 第六周学习总结
- capwap学习笔记——初识capwap(三)(转)
- Golang 入门 : 打造开发环境
- Tomcat系列(8)——Tomcat运行模式连接数和线程池
- RabbitMQ 集群原理和完善
- 解决只读时ios下input光标问题
- String对象方法属性总结
- ECharts柱状图
- SharePoint Server 2016 - Configure Office Online Server
热门文章
- HDU 3594 Cactus 有向仙人掌图判定
- socketcluster 客户端请求
- js 判断ie的版本号
- gdb调试手册 一 gdb概述
- 【LeetCode】Remove Duplicates from Sorted Array(删除排序数组中的重复项)
- Python socket粘包问题(最终解决办法)
- DS博客作业06--图
- [LOJ#516]「LibreOJ β Round #2」DP 一般看规律
- BZOJ-1221 软件开发
- BZOJ2326 [HNOI2011]数学作业 【矩阵快速幂】