hive优化之自己主动合并输出的小文件
2024-08-24 09:33:46
1.先在hive-site.xml中设置小文件的标准.
<property>
<name>hive.merge.smallfiles.avgsize</name>
<value>536870912</value>
<description>When the average output file size of a job is less than this number, Hive will start an additional map-reduce job to merge the output files into bigger files. This is only done for map-only jobs if hive.merge.mapfiles is true, and for map-reduce jobs if hive.merge.mapredfiles is true.</description>
</property>
2.为仅仅有map的mapreduce的输出并合并小文件.
<property>
<name>hive.merge.mapfiles</name>
<value>true</value>
<description>Merge small files at the end of a map-only job</description>
</property>
2.为含有reduce的mapreduce的输出并合并小文件.
<property>
<name>hive.merge.mapredfiles</name>
<value>true</value>
<description>Merge small files at the end of a map-reduce job</description>
</property>
最新文章
- Linux 下编译升级 Python
- js 两数相减
- python 正则表达式点号与&#39;\n&#39;符号的问题
- [转]--android studio 使用gradle 导出jar包,并打包assets目录
- BackgroundWorker
- 10.6 noip模拟试题
- java打jar包 命令行cmd在当前路径打jar包
- keyDown keyPress keyUp 事件的区别
- Vertica数据库操作
- .NET 基础 一步步 一幕幕[面向对象之堆、栈、引用类型、值类型]
- # webpack 3 &; React 的简单配置 。
- 社区发现算法 - Fast Unfolding(Louvian)算法初探
- 关于HttpSession 和 Hibernate框架中 session异同点的简单解析
- C字符串
- [加密]ESP32 -Secure Boot 安全方案
- Subversion权限详解
- 缓存(图像 IO 14.2)
- 雷林鹏分享:C# 属性(Property)
- Robotframework测试相关库的简单整理
- boost.sha1