MapReduce Input Split 输入分/切片
2024-09-04 00:47:59
MapReduce Input Split(输入分/切片)详解
public static long getMaxSplitSize(JobContext context) {
return context.getConfiguration().getLong(SPLIT_MAXSIZE,
Long.MAX_VALUE);
}
如果没有设置这maxsize默认是Long.MAX_VALUE
public static long getMinSplitSize(JobContext job) {
return job.getConfiguration().getLong(SPLIT_MINSIZE, 1L);
}
如果没有设置这minsize默认是1L
按照这样的理解,应该是将maxsize设置的小一些(小于blocksiz)那么这个切片就变小了
如果将minisize设置大一些(大于blocksize)那么这个切片就变大了,
设置的方法是
FileInputFormat.setMaxInputSplitSize(job, size);
FileInputFormat.setMinInputSplitSize(job, size);
切片数和文件在hdfs上的块数不是一个概念
最新文章
- Visual Studio Code 代理设置
- linux系统的学习
- 第三章 EnumUtil根据值获取枚举对象
- MySQL-->;基础-->;001-->;MySQL基本操作
- 【bzoj1857】 Scoi2010—传送带
- Android中操作数据的集中方式---文件,SQLite,ContentProvider
- select into from 和 insert into select 的区别和用法及 SQL SELECT INTO 中Undeclared variable错误解决办法
- 主成分分析(principal components analysis, PCA)——无监督学习
- 实例源码--Android自定义Gallery动画效果
- ArcGIS学习记录—dbf shp shx sbn sbx mdb adf等类型的文件的解释
- web测试方面的知识
- fopen,file_get_contents,curl的区别
- 基于.net开发chrome核心浏览器【二】
- springBoot基础系列--properties配置
- nrf52832板子焊接后总结的经验
- input输入框提交输入的值的方式
- AD中组的概念
- VS2015下安装Entity Framework Power Tools
- 【Scala】Scala学习资料
- this与$scope
热门文章
- Xamarin XAML语言教程Xamarin.Forms中构建进度条
- 集合框架(上):学生选课(collection)
- Jenkins忘记密码的修复方法(Windows/Linux)
- matlab坐标轴设置
- @Component-@Resource-@Repository-@Service-@Controller的区别和理解-------springMVC
- Java 中 ConcurrentHashMap 原理分析
- HTML5游戏实战(1):50行代码实现正面跑酷游戏
- ElastcSearch的Mapping映射建立
- mysql 存储过程 演示样例代码
- 解决safari中iframe嵌入不能滚动的问题