CM和CDH的安装-进阶完成
安装Cloudera Manager Server 和Agent
1、在cdh1解压cloudera-manager-el6-cm5.9.0_x86_64.tar.gz(cdh1节点)
tar -zcvf cloudera-manager-el6-cm5.9.0_x86_64.tar.gz
2、为Cloudera Manager 5建立数据库(cdh1节点)
2.1:复制 mysql-connector-java-5.1.30.jar到/opt/cm-5.10.0/share/cmf/lib/目录下
cp mysql-connector-java-5.1.30.jar /opt/cm-5.9.0/share/cmf/lib/
2.2:在主节点初始化CM5的数据库:
/opt/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm
3、Agent配置(cdh1节点)
3.1:修改/opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名:
vi /opt/cm-5.9.0/etc/cloudera-scm-agent/config.ini
serverhost = cdh1
3.2:同步Agent到其他节点
scp -r /opt/cm-5:9.0/ root@cdh2:/opt/
scp -r /opt/cm-5.9.0/ root@cdh3:/opt/
4、创建cloudera-scm用户(所有节点)
useradd --system --home=/opt/cm-5.9.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
5、准备Parcels,用以安装CDH5(cdh1节点)
将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1
manifest.json
注:将CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1重命名为CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha
5、启动cm服务(cdh1节点)和Agent服务(所有节点)
/opt/cm-5.9.0/etc/init.d/cloudera-scm-server start #启动服务端。
/opt/cm-5.9.0/etc/init.d/cloudera-scm-agent start #启动Agent服务。
需要停止服务将以上的start参数改为stop就可以了,重启是restart。
6、访问http://192.168.189.128:7180/
Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点cdh1的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问)
默认的用户名和密码均为admin
7、CDH5的安装配置
按照界面操作直接进行:我就不一一截图了,总结下遇到的错误。
7.1、修改配置(所有节点)
解决办法:
临时修改:echo 0 > /proc/sys/vm/swappiness
重启生效:vim /etc/sysctl.conf
添加一行vm.swappiness=10
临时:
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
或添加上面二行:vi /etc/rc.local
7.2安装hive的时候回提示缺少mysql连接驱动(cdh1节点)
cp /opt/mysql-connector-java-5.1.30.jar /opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/hive/lib/
7.3安装oozie的时候提示没有权限建目录和缺少mysql驱动(cdh1节点)
修改/var/lib/oozie 目录权限 : chmod 777 /var/lib/oozie
cp /opt/mysql-connector-java-5.1.30.jar /var/lib/oozie/
注;几个配置警告是因为jvm内存设置太小和datanode节点数少于3个的原因。
最新文章
- iOS开发_MVC设计模式
- 安装文件制作工具Wix概念快速入门
- matlab 画图数据导入
- WEB三层架构与MVC
- SQL防注入程序
- (C#)使用队列(Queue)解决简单的并发问题
- PCL—低层次视觉—点云分割(最小割算法)
- Java单例模式和volatile关键字
- XGPush集成(信鸽集成)
- VIM一些常用命令,方法,配置
- linux 监控
- CentOS 6.3 配置FTP
- 进了ACM之后,我才清楚了自己的方向!!!
- Python字符串的encode与decode研究心得——解决乱码问题
- (字符串 数组 递归 双指针) leetcode 344. Reverse String
- [C]关于函数指针参数的赋值
- [转帖]迎战AMD 7nm 64核EPYC 英特尔至强也玩起了胶水以及性价比
- BUG描述规范管理
- poj3164 最小树形图板子题
- AbstractQueuedSynchronizer-AQS
热门文章
- webpack8--删除dist目录,压缩分离后的CSS
- Android 软键盘弹出与关闭监听
- android读取大图片并缓存
- Android wpa_supplicant 启动过程
- windows sever2003安装Wamp 2.5不成功——VC 11不支持Windows Server 2003和win XP?
- Java数组扩展
- ubuntu 安装 SVN 后的错误:Subversion Native Library Not Available &; Incompatible JavaHL library loaded
- Objective-C MacOS以管理员权限执行程序
- PHP 开发者该知道的 5 个 Composer 小技巧
- 强大!HTML5 3D美女图片旋转实现教程