hadoop block大小为128的原因
2024-10-20 05:29:11
1.减轻了namenode的压力
原因是hadoop集群在启动的时候，datanode会上报自己的block的信息给namenode。namenode把这些信息放到内存中。那么如果块变大了，那么namenode的记录的信息相对减少，所以namenode就有更多的内存去做的别的事情，使得整个集群的性能增强。
2.增大会不会带来负面相应。
因为这个可以灵活设置，所以这里不是问题。关键是什么时候，该如何设置。
如果对于数两级别为PB的话，建议可以block设置的大一些。
如果数据量相对较少，可以设置的小一些64M也未尝不可。
负面效应，如果网络环境不好，可能会造成重新传输。
3.如果寻址时间约为10ms,而传输速率为100mb/s,为了使寻址时间仅占传输时间的64m。
最新文章
- 高级javascript---模块化编程
- codeigniter nginx配置
- ANGULARJS 出错解决
- STM32F0xx_TIM输出PWM配置详细过程
- task_struct
- NIOS中双CPU系统的构建
- 深入解析Java中volatile关键字的作用
- HTML <form> 标签的 method 属性（20161028）
- 跟我一起读postgresql源码(十二)——Executor(查询执行模块之——Materialization节点(下))
- 浅谈Google Chrome浏览器（理论篇）
- idea新建maven工程没有artifacts
- Saiku连接mysql数据库（二）
- Java语法基础学习DaySeven
- 报错：Column count doesn't match value count at row 1
- 【转】mybatis 自增主键配置
- Lucene系列六：Lucene搜索详解（Lucene搜索流程详解、搜索核心API详解、基本查询详解、QueryParser详解）
- redis HyperLogLog 基数估算
- Jenkins权限控制-Role Strategy Plugin插件使用
- Codeforces Round #502 (in memory of Leopoldo Taravilse, Div. 1 + Div. 2) E. The Supersonic Rocket
- cygwin—excellent work！