mapred-site.xml 配置在线更新
2024-08-24 11:47:06
环境:ibm jdk , cdh2.35.0.2
需求:更新mapred-site.xml 中的mapreduce.map.java.opts 和
mapreduce.reduce.java.opts 中部分jvm相关的参数。 主要是去掉原来使用的大页面参数 Xlp 和增大xms xmx参数
目标:不重启集群的nodemanager进程,修改的mapred-site.xml中的项目是否会生效?
1.从ibm 官网下载jdk,bin包,直接安装ibmjdk.修改JAVA_HOME 在.bash_profile 和hadoop-env.sh 中。
2.修正sysctl.conf 中 vm.nr_hugepages =512 , 然后sysctl –p
3 然后执行 pi 的测试,发现一直报错,exit code 1 根据之前经验,知道 java vm 初始化失败,一直怀疑加上Xlp之后
没有成功初始化jvm可能内存不够,然后调大至1024,后至2048, (x86 上面pagesize 2048 kb)
然后重启机器,发现给的太多,机器无法使用,tty经常直接断开, 因为机器本身就配置了2g的内存。
遂改回到512,然后重启机器。
其实发现,有时候 sysctl –p 仍是不起作用,大页面的问题,还是建议直接重启机器。
然后再启动hadoop,进行测试,任务可以通过。
先测试的是-Xlp 给一定的参数。
然后去掉-xlp, 给一定的参数,都没问题。
这次实验也在cdh2.6上实验了,一样的情况。
hadoop的配置文件的修改,根据配置参数的情况,并不是所有的情况都需要重启相应的进程。
但有些项目是必须要启动的。虽然2。6版本中直接动态 加载部分配置。
最新文章
- java中运算符的优先级
- Android--SQLite的使用
- canvas/CSS实现仪表盘效果
- android高级---->;AsyncTask的源码分析
- linux之eval用法(高级bash程序员的必修之技)
- yum安装 lnmp
- ASP.NET自定义控件入门Demo
- HDU 4619 Warm up 2(2013多校2 1009 二分匹配)
- 深入WSGI,并按样例实现一个
- 场解决方案添加webpart(Create Webpart to page using code)
- POJ 1028 Web Navigation 题解
- 【机器学习笔记之六】Bagging 简述
- Block 的使用时机
- java获取类加载路径和项目根路径的5种方法
- React文档(二十四)高阶组件
- 使用DigitalOcean控制台访问Droplet(远程服务器)
- Android开发学习笔记-自定义对话框
- Sqlite可视化工具sqliteman安装(转)
- mysql中查看表结构的sql语句
- java的值传递机制
热门文章
- GJM : Unity3D - UI - UI边缘流光特效小技巧 [转载]
- OGNl和ValueStack的基础和深入分析
- js的动态加载、缓存、更新以及复用(一)
- jQuery cxSlide 焦点图轮换
- CutJS – 用于 HTML5 游戏开发的 2D 渲染引擎
- 【iScroll源码学习01】准备阶段
- JavaScript实战(原生range和自定义特效)
- 网页引用本地电脑的字体 css设置浏览器会不显示的解决办法
- SharePoint 2013 直接给AD 组赋权限后,AD组里的用户还是登陆不了SharePoint,提示没有权限
- yii create url (二)