Hive开启mapjoin优化、并行执行、动态分区
2024-08-23 04:05:01
1. mapjoin优化适合小表join大表
set hive.optimize.skewjoin=true; //有数据倾斜时开启负载均衡,默认false
set hive.auto.convert.join=true; //设置自动选择MapJoin,默认是true
set hive.auto.convert.join.noconditionaltask=true; //map-side join
set hive.auto.convert.join.noconditionaltask.size=; //多大的表可以自动触发放到内层LocalTask中,默认大小10M
set hive.mapjoin.smalltable.filesize=; //设置mapjoin小表的文件大小为20M,小表阈值
2. 开启并行执行
set hive.exec.parallel=true; //可以开启并发执行
set hive.exec.parallel.thread.number=; //同一个sql允许最大并行度,默认为8。
3. 开启动态分区
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
最新文章
- .NET程序运行过程产生的问题
- caffe的python接口学习(6):用训练好的模型(caffemodel)来分类新的图片
- 粒子群优化算法-python实现
- HDU 2222(AC自动机模板题)
- iOS 蒙板,图片叠加显示漏空部分
- 联想预装win8系统改成win7操作步骤及注意事项
- iOS开发 UITableView之cell
- 网络版shell之网络编程练习篇--telnet服务端
- Backtrack下的dns爆破工具的目录
- SpringBoot入门:新一代Java模板引擎Thymeleaf(理论)
- Python:从入门到实践--第五章--if语句--练习
- day39Python
- Python 测试
- 软件工程课堂练习&;课下作业
- 11.8 开课二个月零四天 (Jquery)
- 利用 gdb 探究main(int argc, char *argv[]){} 中的char *argv[]
- VB 中 copymemory的有关问题
- 解决:SqlDateTime 溢出。必须介于 1/1/1753 12:00:00 AM 和 12/31/9999 11:59:59 PM 之间提示问题
- BugPhobia回顾篇章:团队Alpha阶段工作分析
- P2042 [NOI2005]维护数列 &;&; Splay区间操作(四)
热门文章
- oracle+mybatis报错:BindingException(";Invalid bound statement (not found): ";)
- sql server vs mysql
- WinDbg 图形界面功能(二)
- Angular惰性加载的特性模块
- Java 日期工具类(日期,月份加减等)--转
- 贪心算法训练(四)——(HDU1050)Moving Tables
- 关于连接sftp以及本地配置sftp的事情
- Java与设计模式之单例模式(下) 安全的单例模式
- vue + .net core 项目,源码在GitHub 希望对大家有所帮助
- Spring MVC原理及配置