Hadoop hadoop balancer配置
2024-08-23 03:21:03
hadoop版本：2.9.2
1、带宽的设置参数： dfs.datanode.balance.bandwidthPerSec 默认值 10m
2、datanode之间数据块的传输线程大小：dfs.datanode.max.transfer.threads 默认值4096
3、修改dfs.datanode.balance.max.concurrent.moves ，指定DataNode上同时用于balance待移动block的最大线程个数，这个值默认是50
如果dfs.datanode.balance.max.concurrent.moves 这个值设置不合理，balancer里面会报IO错误：(我这里设置的有点高了，达到了200)
java.io.IOException: Got error, status=ERROR, status message Not able to receive block from /.x.x.x: because threads quota is exceeded., block move is failed
at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:)
at org.apache.hadoop.hdfs.server.balancer.Dispatcher$PendingMove.receiveResponse(Dispatcher.java:)
at org.apache.hadoop.hdfs.server.balancer.Dispatcher$PendingMove.dispatch(Dispatcher.java:)
at org.apache.hadoop.hdfs.server.balancer.Dispatcher$PendingMove.access$(Dispatcher.java:)
at org.apache.hadoop.hdfs.server.balancer.Dispatcher$.run(Dispatcher.java:)
4、如果不想在datanode设置带宽，可以临时设置 hdfs dfsadmin -setBalancerBandwidth 20m
5、启动balancer的方法
(1)、start-balancer.sh -threshold 1
(2)、hadoop balancer -threshold 1
(3)、hadoop-daemon.sh start balancer -threshold 1
最新文章
- #9.5课堂JS总结#循环语句、函数
- Android之Viewpager+Fragment实现懒加载
- leetcode36. Valid Sudoku
- Java对象 json之间的转换（json-lib）
- retrifit
- Linux的时钟管理
- Myeclipse自动生成javabean的get和set方法
- Seafile的手册
- Subsets 【dfs】
- JPA 批注参考
- HTML+CSS D07 边框、div
- Windbg查看调用堆栈(k*)
- Java 银行家算法
- Jamon
- 安装odoo小程序商城模块报错 KeyError: u'oejia_weshop'
- ps 命令的十个简单用法
- 【Dojo 1.x】笔记3 等待DOM加载完成
- Python并发复习3 - 多进程模块 multiprocessing
- 小程序 切换到tabBar页面不刷新问题
- SpringBoot的文件下载