MapReduce Input Split(输入分/切片)详解

public static long getMaxSplitSize(JobContext context) {
return context.getConfiguration().getLong(SPLIT_MAXSIZE,
Long.MAX_VALUE);
}

如果没有设置这maxsize默认是Long.MAX_VALUE

public static long getMinSplitSize(JobContext job) {
return job.getConfiguration().getLong(SPLIT_MINSIZE, 1L);
}

如果没有设置这minsize默认是1L

按照这样的理解,应该是将maxsize设置的小一些(小于blocksiz)那么这个切片就变小了

如果将minisize设置大一些(大于blocksize)那么这个切片就变大了,

设置的方法是

FileInputFormat.setMaxInputSplitSize(job, size);
FileInputFormat.setMinInputSplitSize(job, size);

切片数和文件在hdfs上的块数不是一个概念

最新文章

  1. Visual Studio Code 代理设置
  2. linux系统的学习
  3. 第三章 EnumUtil根据值获取枚举对象
  4. MySQL-->基础-->001-->MySQL基本操作
  5. 【bzoj1857】 Scoi2010—传送带
  6. Android中操作数据的集中方式---文件,SQLite,ContentProvider
  7. select into from 和 insert into select 的区别和用法及 SQL SELECT INTO 中Undeclared variable错误解决办法
  8. 主成分分析(principal components analysis, PCA)——无监督学习
  9. 实例源码--Android自定义Gallery动画效果
  10. ArcGIS学习记录—dbf shp shx sbn sbx mdb adf等类型的文件的解释
  11. web测试方面的知识
  12. fopen,file_get_contents,curl的区别
  13. 基于.net开发chrome核心浏览器【二】
  14. springBoot基础系列--properties配置
  15. nrf52832板子焊接后总结的经验
  16. input输入框提交输入的值的方式
  17. AD中组的概念
  18. VS2015下安装Entity Framework Power Tools
  19. 【Scala】Scala学习资料
  20. this与$scope

热门文章

  1. Xamarin XAML语言教程Xamarin.Forms中构建进度条
  2. 集合框架(上):学生选课(collection)
  3. Jenkins忘记密码的修复方法(Windows/Linux)
  4. matlab坐标轴设置
  5. @Component-@Resource-@Repository-@Service-@Controller的区别和理解-------springMVC
  6. Java 中 ConcurrentHashMap 原理分析
  7. HTML5游戏实战(1):50行代码实现正面跑酷游戏
  8. ElastcSearch的Mapping映射建立
  9. mysql 存储过程 演示样例代码
  10. 解决safari中iframe嵌入不能滚动的问题