离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(二)基础环境安装
2024-08-25 09:35:18
一、安装CentOS 6.5 x64
具体安装过程自行百度
1.1 修改IP地址
[root@master ~]# vi /etc/sysconfig/network
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.1.181
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
删除70-persistent-net.rules
[root@master ~]# rm -rf /etc/udev/rules.d/-persistent-net.rules
1.2 修改主机名
[root@master ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
1.3 设置IP与主机映射关系
[root@master ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
:: localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.181 master
192.168.1.182 slave1
192.168.1.183 slave2
二、JDK的安装
2.1 新建soft文件夹,存放软件安装包
[root@master ~]# mkdir /root/soft
2.2 上传JDK安装包到soft文件夹中
使用xftp上传
2.3 将jdk解压到/opt目录
[root@master soft]# tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/
2.4 配置环境变量
[root@master soft]# vi /etc/profile
最文件最后添加以下内容:
#JAVA_HOME
export JAVA_HOME=/opt/jdk1..0_151
export PATH=$PATH:$JAVA_HOME/bin
修改完之后,使profile文件重新生效一下
[root@master soft]# source /etc/profile
2.5 验证Java版本
[root@master soft]# java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) -Bit Server VM (build 25.151-b12, mixed mode)
三、关闭防火墙
对安装阶段将防火墙暂时关闭,所有安装软件安装完成之后再单独机器做安全策略。需要在每台机器上执行以下命令:
#关闭防火墙
[root@master soft]# service iptables stop
#设置防火墙开机自动关闭
[root@master soft]# chkconfig iptables off
四、关闭Selinux
#临时关闭命令
[root@master soft]# setenforce 0
#修改配置文件(重启生效)
[root@master soft]# vi /etc/selinux/config
SELINUX=disabled
五、配置SSH免密登录
5.1 生成密钥对
[root@master ~]# ssh-keygen -t rsa
中间3次回车
5.2 将slave上的公钥发送到master上
slave1机器上执行
[root@slave1 ~]# scp -r /root/.ssh/id_rsa.pub master:/root/.ssh/slave1 .pub
slave2机器上执行
[root@slave2 ~]# scp -r /root/.ssh/id_rsa.pub master:/root/.ssh/slave2.pub
5.3 复制公钥到authorized_keys
在master上执行
#进入/root/.ssh目录
[root@master ~]# cd .ssh/
#复制master生成的公钥到authorized_keys
[root@master .ssh]# cat id_rsa.pub >> authorized_keys
#复制slave1生成的公钥到authorized_keys
[root@master .ssh]# cat slave1.pub >> authorized_keys
#复制slave2生成的公钥到authorized_keys
[root@master .ssh]# cat slave2.pub >> authorized_keys
5.4 将合并后的公钥发送到其他节点
#发送到slave1服务器
[root@master .ssh]# scp -r authorized_keys slave1:$PWD
#发送到slave2服务器
[root@master .ssh]# scp -r authorized_keys slave2:$PWD
5.5 测试免密登录
第一次登录会要求输入yes确认一下,之后就可以直接进行登录。所以机器都要进行登录一遍
[root@master .ssh]# ssh master
[root@master .ssh]# ssh slave1
[root@master .ssh]# ssh slave2
六、安装本地yum源
6.1 创建相关目录
/mnt/dvd1和/mnt/dvd2 用于挂载CentOS镜像
/mnt/dvd3 用于合并后的镜像
/mnt/iso ISO镜像存储
[root@master ~]# mkdir -p /mnt/dvd1 /mnt/dvd2 /mnt/dvd3 /mnt/iso
6.2 上传CentOS镜像到/mnt/iso
使用xftp进行上传
6.3 挂载CentOS镜像
[root@master iso]# mount -o loop /mnt/iso/CentOS-6.5-x86_64-bin-DVD1.iso /mnt/dvd1/ [root@master iso]# mount -o loop /mnt/iso/CentOS-6.5-x86_64-bin-DVD2.iso /mnt/dvd2/
6.4 拷贝文件
首先,拷贝DVD1中的所有文件到/mnt/dvd3目录下,然后,只拷贝DVD2中Packages目录下的所有rpm文件到/mnt/dvd3/Packages目录下
[root@master iso]# cp -av /mnt/dvd1/* /mnt/dvd3/ [root@master iso]# cp -v /mnt/dvd2/Packages/*.rpm /mnt/dvd3/Packages/
6.5 合并TRANS.TBL
将DVD2中的TRANS.TBL文件的信息追加到DVD1中的TRANS.TBL后面,并排序保存
[root@master iso]# cat /mnt/dvd2/Packages/TRANS.TBL >> /mnt/dvd3/Packages/TRANS.TBL
[root@master iso]# mv /mnt/dvd3/Packages/{TRANS.TBL,TRANS.TBL.BAK}
[root@master iso]# sort /mnt/dvd3/Packages/TRANS.TBL.BAK > /mnt/dvd3/Packages/TRANS.TBL
[root@master iso]# rm -rf /mnt/dvd3/Packages/TRANS.TBL.BAK
dvd3已经是合并后的文件了,可以用作本地源和做成ISO使用。
6.6 备份yum配置文件(所有服务器都执行)
[root@master ~]# cd /etc/yum.repos.d/
#创建一个bak文件夹
[root@master yum.repos.d]# mkdir bak
#将所有的.repo文件移动到bak文件夹里面
[root@master yum.repos.d]# mv *.repo bak
6.7 新建一个yum配置文件
[root@master yum.repos.d]# vi /etc/yum.repos.d/CentOS-Media.repo
[CentOS-Local]
name=CentOS-Local
baseurl=file:///mnt/dvd3
gpgcheck=
enabled=
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
6.8 更新yum源
[root@master yum.repos.d]# yum clean all [root@master yum.repos.d]# yum repolist
6.9 安装httpd服务
[root@master ~]# yum install -y httpd
6.10 启动httpd服务
#查看httpd运行状态
[root@master ~]# service httpd status
#启动httpd
[root@master ~]# service httpd start
6.11 在httpd服务的web目录中放入rpm库
[root@master ~]# mkdir /var/www/html/centos6.
#创建一个软连接指向dvd3
[root@master ~]# ln -s /mnt/dvd3/ /var/www/html/centos6./
6.12 用浏览器访问一下httpd服务
看是否能访问到/mnt/dvd3里面的东西
访问地址:http://192.168.1.181/centos6.5/
6.13 修改yum源
[root@master ~]# vi /etc/yum.repos.d/CentOS-Media.repo
[CentOS-Local]
name=CentOS-Local
#baseurl=file:///mnt/dvd3
baseurl=http://192.168.29.181/centos6.7/dvd3
gpgcheck=
enabled=
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
6.14 再次更新yum源
[root@master ~]# yum clean all [root@master ~]# yum repolist
如下即为成功:
已加载插件:fastestmirror, security
Determining fastest mirrors
CentOS-Local | 4.0 kB :
CentOS-Local/primary_db | 4.6 MB :
仓库标识 仓库名称 状态
CentOS-Local CentOS-Local ,
repolist: ,
6.15 发送新的yum配置文件到其余节点
[root@master ~]# cd /etc/yum.repos.d/ [root@master yum.repos.d]# scp -r CentOS-Media.repo slave1:$PWD [root@master yum.repos.d]# scp -r CentOS-Media.repo slave2:$PWD
6.16 在其余节点更新yum源
命令详见6.14
七、设置时钟同步
7.1 安装ntpd服务(所有服务器)
[root@master ~]# yum install -y ntp
7.2 设定master为时间服务器
#查看服务器时间
[root@master ~]# date
2018年 08月 03日 星期日 :: CST
#修改时间
[root@master ~]# date -s ::
#把系统时间写入CMOS
[root@master ~]# clock –w
#修改ntp配置文件
[root@master ~]# vi /etc/ntp.conf
在“server 3.centos.pool.ntp.org iburst”后追加以下内容:
server 192.168.1.181
restrict 192.168.1.181 nomodify notrap noquery
server 127.127.1.0
fudge 127.127.1.0 stratum
7.3 修改其余节点ntp配置文件
[root@slave1 ~]# vi /etc/ntp.conf
server 192.168.1.181
server 127.127.1.0
fudge 127.127.1.0 stratum
7.4 启动master上的ntp服务
#启动ntpd服务
[root@master ~]# service ntpd start
#设置开机自启
[root@master ~]# chkconfig ntpd on
7.5 启动其余节点的ntp服务
#先同步master服务器上的时间
[root@slave1 ~]# ntpdate master
#启动ntpd服务
[root@slave1 ~]# service ntpd start
#设置开机自启
[root@slave1 ~]# chkconfig ntpd on
7.6 在其余节点添加定时任务
[root@slave1 ~]# crontab -e
*/ * * * * /usr/sbin/ntpdate 192.168.1.181
注意:如果服务器时间不同步,集群运行将出现各种各样的问题
八、安装依赖包
所有节点都需要安装
[root@master ~]# yum install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb –y
九、修改swappiness
#临时修改
[root@master cloudera]# sysctl -w vm.swappiness=
#永久修改
[root@master cloudera]# echo "vm.swappiness=0" >> /etc/sysctl.conf
十、关闭透明大页面
#临时关闭透明大页面
[root@master cloudera]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@master cloudera]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
#永久关闭透明大页面
root@master cloudera]# echo ' ' >> /etc/rc.local
[root@master cloudera]# echo '# 关闭大透明页面' >> /etc/rc.local
[root@master cloudera]# echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local
[root@master cloudera]# echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled' >> /etc/rc.local
#查看是否关闭透明大页面
[root@master cloudera]# cat /sys/kernel/mm/redhat_transparent_hugepage/defrag
[root@master cloudera]# cat /sys/kernel/mm/redhat_transparent_hugepage/enabled
最新文章
- Sass与Web组件化相关的功能
- andriod adt和andriod sdk
- js原生的url操作函数,及使用方法。(附:下边还有jquery对url里的中文解码函数)
- TYVJ 1014 乘法游戏
- 【转】B树、B-树、B+树、B*树
- java 接口(基础思想一)
- 【6】JAVA---地址App小软件(QueryPanel.class)(表现层)
- saiku导出excel单元格格式与中文列宽自动适应
- 【Gapps】安装GooglePlay引发一系列问题
- hive 不同用户 权限设置 出错处理
- html5/css3布局(一)
- linux 存储技术 部署iSCSI NFS Multipath多路径
- laravel读取excel
- XML的基礎結構
- Scala入门教程---《chang哥教你一天搞定Scala》
- mysqli的使用
- Httpclient 支持https(转)
- C#实现字符串相似度算法
- UVALIVE 5096 Volume
- Linux下查看CPU使用率 --- top命令的使用
热门文章
- 【Java面试】2、面试题汇总
- Tomcat9.0环境搭建与源码编译
- Training little cats(poj3735,矩阵快速幂)
- Beans Game(博弈 | | DP)zoj 3057
- Redis-五种数据类型解析
- 如何迁移 ArcGIS Enterprise WebGIS( Portal Server DataStore )系统
- JS前端创建CSV或Excel文件并浏览器导出下载
- LintCode题解之Search Range in Binary Search Tree
- tomcat上传内容报错
- Jmeter之HTTP Cookie 管理器