Cloudera Manager 安装 CDH5
文档说明
本文是针对Linux CentOS6服务器与CDH5.15的安装手册。
关于CDH和ClouderaManager
CDH(Cloudera's Distribution, includingApache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。
ClouderaManager(本文以下简称为CM)则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化
术语介绍
CM: Cloudera Manager (Cloudera公司专有的Hadoop集群管控平台);
CDH: Cloudera Distributed Hadoop(Cloudera公司重新打包发布的Hadoop版本);
HDFS:分布式文件系统;
HBASE: 基于HADOOP的分布式、列式存储数据库;
HIVE: 基于大数据技术(文件系统+运算框架)的SQL数据仓库工具;
MAPREDUCE: 分布式运算程序开发框架;
SPARK:为大规模数据处理而设计的快速通用的计算引擎;
ZOOKEEPER: 分布式协调服务基础组件;
YARN: 负责集群资源的统一管理和调度,分配系统资源给各个应用程序。
基础环境准备
关闭防火墙:/etc/init.d/iptables stop && chkconfig iptables off
关闭NetworkManager:/etc/init.d/NetworkManager stop && chkconfig NetworkManager off
SeLinux设为disabled: setenforce 0
yum源仓库的配置:本次部署使用了公司yum源
主机规划
软件安装
MySQL安装
因为需要安装数据库,所以安装了mysql5.6此时需要卸载系统自带的mysql-lib-5.1
[root@hdp01 yum.repos.d]# rpm -qa | grep mysql
mysql-client-5.6.-.x86_64
mysql-server-5.6.-.x86_64
安装cloudera时需要mysql-lib,此时我们需要在
官网:https://downloads.mysql.com/archives/community/
下载:MySQL-shared-compat和MySQL-shared安装,选择和安装的mysql相应的版本
启动mysql,并操作修改密码等一系列事宜
cloudera安装
本次cloudera目录结构如下:
[root@hdp01 ~]# tree /opt/cloudera/
/opt/cloudera/
├── csd
│ └── SPARK2_ON_YARN-2.3..cloudera2.jar
└── parcel-repo
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.sha
├── CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.torrent
├── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel
├── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.sha
└── SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.torrent directories, files
[root@hdp01 ~]# ll /opt/cloudera/
total
drwxr-xr-x cloudera-scm cloudera-scm Nov : csd
drwxr-xr-x cloudera-scm cloudera-scm Nov : parcel-repo
[root@hdp01 ~]# ll /opt/cloudera/parcel-repo/
total
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.sha
-rw-r----- cloudera-scm cloudera-scm Nov : CDH-5.14.-.cdh5.14.2.p0.-el6.parcel.torrent
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.sha
-rw-r----- cloudera-scm cloudera-scm Nov : SPARK2-2.3..cloudera2-.cdh5.13.3.p0.-el6.parcel.torrent
[root@hdp01 ~]# ll /opt/cloudera/csd/
total
-rw-r--r-- root root Apr SPARK2_ON_YARN-2.3..cloudera2.jar
本次使用单位的yum源,如果没有yum源,请手动下载下软件进行安装
cloudera-manager 下载地址:
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.3/RPMS/x86_64/
spark-2 下载地址:
http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha
cdh 下载地址:
http://archive.cloudera.com/cdh5/parcels/5.14.2/
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel
CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha
yum安装:
server端安装:
yum inshall cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server oracle-j2sdk1.
client端安装:
yum install cloudera-manager-daemons cloudera-manager-agent oracle-j2sdk1.
配置修改
所有节点执行
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
#修改:vim /etc/cloudera-scm-agent/config.ini
server_host=
添加:vim /etc/sysctl.conf
vm.swappiness =
sysctl -p
master节点执行
修改:vim /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=
mysql中创建数据库,并进行连接
/usr/share/cmf/schema/scm_prepare_database.sh mysql cmf root
所有节点下载 mysql-connector-java-5.1.46.tar.gz,上传至服务器并解压
cp mysql-connector-java-5.1.-bin.jar /usr/share/java/oracle-connector-java.jar
下载spark插件
cd /opt/cloudera/csd
wget http://yum.ncfgroup.org/cloudera/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera2.jar
启动cloudera
server端:/etc/init.d/cloudera-scm-server start
agent端:/etc/init.d/cloudera-scm-agent start
CDH集群安装
ClouderaManager浏览器默认管理账号:/http://hdp01.yxdev.wx:7180
User:admin
Password:admin
最新文章
- node 异步回调解决方法之yield
- Python yield函数理解
- [Core] .NET Core &; VS Code 之路(2) Web API
- Android Animation学习(四) ApiDemos解析:多属性动画
- Linux nm命令
- NopCommerce 关于Customer的会员类别及会员价处理 的尝试途径
- 一次插入多条记录 [mysql]
- Jquery.Datatables 基本创建方法
- Pascal Game Development with Jason McMillen
- opencv源代码
- Line Painting
- Swift继承的用法
- teyi
- redis的主从复制与哨兵
- Datatables插件1.10.15版本服务器处理模式ajax获取分页数据实例解析
- React文档(十)表单
- MIT-6.824 Raft协议
- JetBrains 2017/2018全系列产品激活工具
- C,Java,C#数据类型对比总结
- 【beta】Scrum站立会议第6次....11.8