parquet和orc选型以及压缩格式
2024-09-02 14:59:16
Hive表压缩功能
除了直接配置MapReduce压缩功能外，Hive的ORC表和Parquet表直接支持表的压缩属性。
但支持的压缩格式有限，ORC表支持None、Zlib、Snappy压缩，默认为ZLIB压缩。但这3种压缩格式不支持切分，所以适合单个文件不是特别大的场景。使用Zlib压缩率高，但效率差一些；使用Snappy效率高，但压缩率低。
Parquet表支持Uncompress、Snappy、Gzip、Lzo压缩，默认不压缩Uncompressed。其中Lzo压缩是支持切分的，所以在表的单个文件较大的场景会选择Lzo格式。Gzip方式压缩率高，效率低；而Snappy、Lzo效率高，压缩率低。
最新文章
- 关于IoCallDriver使用的疑惑
- dbs:apple-notes
- char引发的血案
- XML学习笔记(1)--XML概述
- [转]NHibernate之旅(8)：巧用组件之依赖对象
- 08JS高级 ——“继承”
- shiro的登陆认证（shiro项目中来的一）
- SQL c# 程序报错：未在本地计算机上注册“Microsoft.Jet.OLEDB.4.0”提供程序
- Python_day1 Learning record
- 两个类似的ViewModel一个可以重写事件，另一个不能重写事件，是哪里出了错。
- 029_mount bind挂载
- 如何将极客时间课程制作成kindle电子书
- ORACLE的impdp和expdp命令
- maven 父工程 消除重复 对子模块进行管理 主要继承依赖
- 14. Spring Boot的 thymleaf公共页抽取
- 大杂烩 -- HashMap、HashTable、ConCurrentHashMap 联系与区别
- end=‘’
- 关于定时器、波特率、TH和TL值的计算
- 获取String类型汉字乱码，如何进行编码
- 03_Spark集群部署