重装一次CM的坑爹记录
今天同事要对测试环境进行降级(测试高于生产所以要求降级),自己不经常搞运维,但是无奈测试环境没运维管理只能自己上了。
流程和遇到问题按数字表示。
1.重装CM(clouder manager)这个过程还是比较容易的,机器选择升级就好了,记得别点安装JDK(多个版本JDK会影响集群JDK!!!),记得备份库,我就是不小心把原始库覆盖了把集群搞没了,CM的节点结构是主节点一个server创建数据库,agent节点为子节点,所以启动一个server节点时候会检测没这个库会去进行插入(库的创建要自己动手)
2.db.properties(为库的连接配置,注意看agentserver日志有相关信息),修改成自己对应的库地址
3.节点比如统一root密码
4.覆盖CDH版本存在问题,记得机器全部安装CM顺利后(出错多看log),server和agent都正常的话就可以进行parcel方式离线安装(默认路径是/opt/cloudera/parcel-report差不多是这个,可以设置自己配置把东西放下面)
CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.torrent manifest.json
记得SHA1改成sha manifest只保留你自己版本对应哪个(cat下内容看看都能懂),点击CM的添加集群可以进行安装。过程存在很多问题,比如几个关键路径
[root@rhel071 run]# cd cloudera-scm-agent/
[root@rhel071 cloudera-scm-agent]# ls
cgroups cloudera-scm-agent.pid events flood process supervisor
[root@rhel071 cloudera-scm-agent]# pwd
/var/run/cloudera-scm-agent
这里的ID文件每次启动都会运行,有时候残留会造成集群出错。女的
[root@rhel071 lib]# cd cloudera-scm-agent/
[root@rhel071 cloudera-scm-agent]# ls
cm_guid response.avro uuid
[root@rhel071 cloudera-scm-agent]# pwd
/var/lib/cloudera-scm-agent
[root@rhel071 cloudera-scm-agent]#
这个CMID是对应每次server启动的唯一值,残留历史CM也会造成出错(eg:
Authentication failure for user: __cloudera_internal_user__
)
很多问题都是这两个目录东西残留造成(这些问题百度也没好的答案晕死,牛头不对马嘴,其实就是有时候强制重启造成)
还有集群升级完机器后,机器启动monitor那些东西,这个也是集群必须的,不启动也是会给你报一堆你看不懂百度不到的错误(eg:sending messages to firehose,或者agent坚持不到parcel版本XXX之类都是没启动造成)
下次贴图
还有安装HDFS记得format出错看看/data/dfs/nn dn是否为空,不为空需要删除旧的数据
hadoop version 错误可能是没配置好环境变量,或者/usr/bin 下面存在旧的hadoop影响
hadoop fs -ls报找不到core-site(其实路径下有)也是没配置好(hadoop_home)
export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/hadoop/etc/hadoop
如果报机器JDK不一致,记得rpm -qa|grep java yum -y remove XX把多余影响的删除,配置自己一个版本就好了
(先记录到这里下次再记录仔细点,装了两天多遇到不少问题怕忘记先记录下)
最新文章
- Python小练习四
- python Requests库在处理response时的一些陷阱
- matplotlib python高级绘图库 一周总结
- 一系列JavaScript的基础工具
- 关于项目既要使用ant脚本又要使用maven pom.xml文件的问题
- 网站安全分析:恶意DOS脚本日志分析报告
- GirdView分页
- Bootstrap的js插件之按钮(button)
- 云计算一:VMware workstation的安装和使用教程
- Heacher互助平台需求分析
- 自动给 Asp.Net Core WebApi 增加 ApiVersionNeutral
- FineUIMvc 常见问题及解决办法
- NSAssert和NSParameterAssert
- cocos2dx (关于斗地主人物偏移位置)
- 【Android开发】Android应用程序目录结构
- 一种思路,隐藏input标签,通过label关联
- 阿里大鱼短信接口(Python3版)
- ACM学习历程—FZU2191完美的数字(数学)
- 003 Longest Substring Without Repeating Characters 最长不重复子串
- 【BASH】bash shell的使用实例
热门文章
- sql(11) sum
- php 图片旋转和png透明
- css---过渡天坑
- 客户端app支付宝登录接口
- PHP如何实现百万级数据导出
- vue语法糖
- HTML <;body>;的常用属性
- 6_5.springboot2.x数据整合springData JPA
- 压测:mysqlslap
- typeerror: __init__() missing 2 required positional arguments: &#39;inputs&#39; and &#39;outputs&#39;