hdfs平衡分布
这篇文章是从网上看到的,觉得很好就收藏了,但是最终不知道出处了。
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候,将引发很多问题,比如MR程序无法很好地利用本地计算的优势,机器之间无法达到更好的网络带宽使用率,机器磁盘无法利用等等。可见,保证HDFS中的数据平衡是非常重要的。
在Hadoop中,包含一个Balancer程序,通过运行这个程序,可以使得HDFS集群达到一个平衡的状态,使用这个程序的命令如下:
sh $HADOOP_HOME/bin/start-balancer.sh –t 10%
这个命令中-t参数后面跟的是HDFS达到平衡状态的磁盘使用率偏差值。如果机器与机器之间磁盘使用率偏差小于10%,那么我们就认为HDFS集群已经达到了平衡的状态。
Hadoop的开发人员在开发Balancer程序的时候,遵循了以下几点原则:
1. 在执行数据重分布的过程中,必须保证数据不能出现丢失,不能改变数据的备份数,不能改变每一个rack中所具备的block数量。
2. 系统管理员可以通过一条命令启动数据重分布程序或者停止数据重分布程序。
3. Block在移动的过程中,不能暂用过多的资源,如网络带宽。
4. 数据重分布程序在执行的过程中,不能影响name node的正常工作。
基于这些基本点,目前Hadoop数据重分布程序实现的逻辑流程如下图所示:
Rebalance程序作为一个独立的进程与name node进行分开执行。
1 Rebalance Server从Name Node中获取所有的Data Node情况:每一个Data Node磁盘使用情况。
2 Rebalance Server计算哪些机器需要将数据移动,哪些机器可以接受移动的数据。并且从Name Node中获取需要移动的数据分布情况。
3 Rebalance Server计算出来可以将哪一台机器的block移动到另一台机器中去。
4,5,6 需要移动block的机器将数据移动的目的机器上去,同时删除自己机器上的block数据。
7 Rebalance Server获取到本次数据移动的执行结果,并继续执行这个过程,一直没有数据可以移动或者HDFS集群以及达到了平衡的标准为止。
Hadoop现有的这种Balancer程序工作的方式在绝大多数情况中都是非常适合的。
现在我们设想这样一种情况:
1 数据是3份备份。
2 HDFS由2个rack组成。
3 2个rack中的机器磁盘配置不同,第一个rack中每一台机器的磁盘空间为1TB,第二个rack中每一台机器的磁盘空间为10TB。
4 现在大多数数据的2份备份都存储在第一个rack中。
在这样的一种情况下,HDFS级群中的数据肯定是不平衡的。现在我们运行Balancer程序,但是会发现运行结束以后,整个HDFS集群中的数据依旧不平衡:rack1中的磁盘剩余空间远远小于rack2。
这是因为Balance程序的开发原则1导致的。
简单的说,就是在执行Balancer程序的时候,不会将数据中一个rack移动到另一个rack中,所以就导致了Balancer程序永远无法平衡HDFS集群的情况。
针对于这种情况,可以采取2中方案:
1 继续使用现有的Balancer程序,但是修改rack中的机器分布。将磁盘空间小的机器分叉到不同的rack中去。
2 修改Balancer程序,允许改变每一个rack中所具备的block数量,将磁盘空间告急的rack中存放的block数量减少,或者将其移动到其他磁盘空间富余的rack中去。
最新文章
- Win 10 文件浏览器无法打开
- java网络流传输,中文乱码问题。
- [转]解决ubuntu下面putty不能连接RS232串口(USB2COM线)
- VS替换空行
- [转]设置控件全局显示样式appearance proxy
- ASP.NET MVC 4 (一)路径映射
- EF分页问题探讨之 OrderBy
- Unity3D-Shader-实现X光效果
- MFC鼠标单击截获鼠标双击事件,且无法记录单击的数据的解决方案
- redis学习系列——redis持久化
- 我认知的javascript之作用域和闭包
- Hibernate实例——Customer表的展示
- Windows 系统共享文件扫描
- Power BI中DAX的动态计算方差
- centos7上安装nodejs
- 禁止一个click事件执行的方法
- 半夜思考之查漏补缺, Spring 中的容器后处理器
- mysql用sql创建表完整实例
- TIOBE 9 月排行榜:C++ 式微,第 3 名被 Python 拿下
- 第九篇 Python数据类型之集合
热门文章
- [转]springSecurity源码分析—DelegatingFilterProxy类的作用
- [转]Intellij idea创建javaWeb以及Servlet简单实现
- supervisor 完整安装步骤
- mysql定时执行某任务
- .NET MVC5+ Dapper+扩展+AutoFac自动注入实现
- javascript的toString深入探究
- [Windows Azure] Create a Virtual Network in Windows Azure
- Gitlab日常备份和恢复
- 使用CountDownTimer实现倒计时功能
- 深入HBase架构解析(一)[转]