MapReduce原理——切片代码分析
2024-10-21 12:01:46
（1）程序先找到数据存储的目录
（2）遍历目录对每个文件进行切片
（3）遍历一个文件：
获取文件大小
计算切片大小
默认情况下，切片大小等于blocksize
每次切片时都要判断剩下部分师否大于块的1.1倍，小于1.1划分为1个切片
讲切片信息写到一个切片规划文件中
整个切片的核心过程在getSplit()方法中完成。
InputSplit只记录了切片元数据信息，比如起始位置、长度以及节点列表。
（4）提交切片规划文件到YARN上，YARN的MrAppMaster可以根据切片规划文件计算开启MapTask数
首先进入写切片的方法
再次进入，打断点
进入第1个断点，进入到FileInputFormat类中.FileInputFormat继承了InputFormat类，同样InputFormat的实现类还有：
向下执行获取最大值最小值参数，来设置切片大小，遍历目录，对文件切片
对文件切片，先进行判断文件是否支持切片，然后计算切片大小
最新文章
- 如何在没有域的环境中搭建AlwaysOn（二）
- 深入理解css系列：meta标签
- Ubuntu下如何安装YouCompleteMe插件
- 在silverlight中通过WCF连接ORACLE DB数据库(转)
- zendStudio 10.5破解
- 使用supervisor提高nodejs调试效率 (已验证）
- mysql优化SQL语句的一般步骤及常用方法
- List.Select按字符串选择属性
- mysql从一个表中拷贝数据到另一个表中sql语句
- Moving From Objective-C to C++
- UVA 12075 - Counting Triangles（容斥原理计数）
- IOS开发中如何给UIImageView添加点击事件
- 基于ExtJs6前台,SpringMVC-Spring-Mybatis,resteasy,mysql无限极表设计，实现树状展示数据(treepanel)
- python装饰器扩展之functools.wraps
- idea 的一些基本的配置
- java连接CentOS7上的redis
- 单分子荧光原位杂交（smFISH）
- android 上下边框线
- docker 容器创建参数错误记录
- springboot之redis的应用