Hadoop合并小文件的几种方法
2024-08-29 04:16:34
1、Hadoop HAR
将众多小文件打包成一个大文件进行存储，并且打包后原来的文件仍然可以通过Map-Reduce进行操作，打包后的文件由索引和存储两大部分组成；
缺点: 一旦创建就不能修改，也不支持追加操作，还不支持文档压缩，当有新文件进来以后，需要重新打包。
2、SequeuesFile
适用于非文体格式，可作小文件容器，并可压缩；
3、CombineFileInputFormat
将多个文件合并成一个split作为输入，减少map输入与HDFS块的耦合；
4、Java代码实现，使用HDFS API；更灵活可控；
最新文章
- bootstrap实现嵌入的button
- iPad apple-touch-startup-image实现portrait和landscape
- Linux/Ubuntu sudo不用输入密码的方法
- Linux常用命令_（系统设置）
- LeetCode Search in Rotated Sorted Array 在旋转了的数组中查找
- Pomelo实现最简单的通信-egret。
- Perl 中级教程 第5章课后习题
- Matlab:拟合(1)
- nginx启动，重启，关闭命令
- intellij idea 学习
- webpack vue 配置
- SpringMVC实现JSON与前台交互
- CTSC2017 铁牌记
- hdu3652 数位dp记忆化搜索
- git上传本地Intellij idea 项目到码云的git仓库中
- Spring搭建练习遇到的坑
- jQuery合并同一列中相同文本的相邻单元格
- 【Alpha发布】网站已经正式发布！
- 解决audio和video在手机端无法自动播放问题
- python-第一类对象，闭包，迭代器