大数据开源平台CDH 集群(CM6.3.1 + CDH 6.3.2)的部署
一,概述
我依照博文:https://www.cnblogs.com/liugp/p/16286645.html ,进行了CDH集群的部署。总体来说,基本比较顺利。
在部署过程中,发生了一些小问题。本文以原博主的步骤 进行说明,详细说明我在部署过程中遇到的问题以及解决方法。
l
二,机器环境配置
以下步骤默认为集群内每个机器进行配置。单独为master机器的配置将另行标明。
1、机器信息
2、修改主机名
这一步应该配置主机名为“全限定主机名( fully qualified domain name (FQDN) )” ,比如 foo-1.example.com 。随后,可添加“非全限定名称” :foo-1
sudo hostnamectl set-hostname foo-1.example.com
配置FQDN, 后续在 CM安装web “配置主机”页面上,可以主动搜寻到“受管机器” 。
在这一步之后,我增加了一个步骤:
2.1 配置 /etc/sysconfig/network 文件, 使用“全限定名”。
HOSTNAME=foo-1.example.com
3、配置/etc/hosts , 举例如下
1.1.1.1 foo-1.example.com foo-1
2.2.2.2 foo-2.example.com foo-2
3.3.3.3 foo-3.example.com foo-3
4、关掉防火墙
5、禁用SELINUX
6、时间同步
7、安装python
8、端口
9、配置免密登录
9、安装JDK
10、交换分区和大页设置
三, 安装CM前期准备
1、组件版本
2、安装Mysql(CDH master节点)
3、为 Cloudera 各软件创建数据库(CDH master节点)
4、安装 MySQL JDBC
三, 安装 CM Server 和 CM Agent
原博客:5、启动CM服务(CM节点)
$ systemctl start cloudera-scm-server
$ systemctl status cloudera-scm-server
$ jps
# 会启动端口7180的服务,服务启动有点慢,需要等待一段时间
netstat -tnlp|grep 7180
# 日志目录:/var/log/cloudera-scm-server/
可以通过日志,查看启动情况,如果有异常,可以定位问题。
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
当出现:INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server. 表示启动成功。
四,通过CM web安装CDH 6.3.2
原博客第4步 : 选择集群机器:
如果之前没有配置“全限定机器名” ,“当前管理的机器” 不能找到集群内节点机器,并且要求你再次安装 cloudera-manager-agent
五,补充:下载发布一个Parcels本地仓库
以上步骤已经完成了集群部署。我这里补充下,官方文档里下载发布一个本地仓库的步骤。
1,下载和发布Parcels 本地仓库。(CM master机器)
注意:cloudera 官方软件库已经不支持下载,需要付费。(文件夹:/var/www/html/cloudera-repos 为本地仓库目录)
sudo mkdir -p /var/www/html/cloudera-repos
sudo wget --recursive --no-parent --no-host-directories https://USERNAME:PASSWORD@archive.cloudera.com/p/cdh6/CDH version/parcels/ -P /var/www/html/cloudera-repos
sudo wget --recursive --no-parent --no-host-directories https://USERNAME:PASSWORD@archive.cloudera.com/gplextras6/CDH version/parcels/ -P /var/www/html/cloudera-repos
sudo chmod -R ugo+rX /var/www/html/cloudera-repos/cdh6
sudo chmod -R ugo+rX /var/www/html/cloudera-repos/gplextras6
2,使用一个本地Parcels 本地仓库
2.1,进入 Cloudera Manager Admin 控制web页面,找到Parcels 页面。
2.2,在配置页面,配置本地Parcles路径;
2.3, 回到本地机器(CM master机器)Parcles路径下, 为你的Parcels创建一个 SHA1 哈希文件。举例:parcels为 CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel
sha1sum CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel | awk '{ print $1 }' > CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha
2.4,最后页面点击“ 检查确认新的 Parcels” 文件。
参考:
1,大数据Hadoop之——Cloudera Hadoop(CM 6.3.1+CDH 6.3.2)环境部署
最新文章
- Java 8新特性-1 函数式接口
- 关于Oracle AUTONOMOUS TRANSACTION(自治事务)的介绍
- ecshop 后台时间调用
- pwnable echo2
- [转]Membership三步曲之入门篇 - Membership基础示例
- JSON和JS对象之间的互转(转)
- Android Fragment之间传值
- [LeetCode#55, 45]Jump Game, Jump Game II
- bzoj1188: [HNOI2007]分裂游戏
- VCS仿真查看coverage
- String与string的区别
- 2018-2019-2 20175204 张湲祯 实验二《Java面向对象程序设计》实验报告
- js可拖拽的div
- 将mnist获得的数据还原成图片形式
- Adaboost 算法实例解析
- Slurm任务调度系统部署和测试(源码)(1)
- c# Bitmap byte[] Stream 文件相互转换
- Moving Swiftly(从OC切换到Swift)
- C++ 实现的netstat -an 的功能<;转>;-目的为获取rtmp推流地址如果是域名的话查看1935的ip
- cacti客户端snmp设置
热门文章
- C++ 地球人口承载力
- JavaScript: symbol 和 string key 取值用法
- C-09\编译预处理
- Java Day 2
- STM32F0_HAL初始化系列:串口DMA输出
- 转载:屎人-->;诗人系列--码农之歌
- 自动化测试如此容易!多语言自动化测试框架 Selenium 编程(C#篇)
- 【源码】RapidJSON 源码剖析(0.1):调试工具 GDB 的使用
- 题解 P1627 [CQOI2009] 中位数
- Vmware15 + Ubuntu18.0.4 安装教程(史上最详细记录)【多图预警】