1. mapjoin优化适合小表join大表

set hive.optimize.skewjoin=true; //有数据倾斜时开启负载均衡,默认false
set hive.auto.convert.join=true; //设置自动选择MapJoin,默认是true
set hive.auto.convert.join.noconditionaltask=true; //map-side join
set hive.auto.convert.join.noconditionaltask.size=; //多大的表可以自动触发放到内层LocalTask中,默认大小10M
set hive.mapjoin.smalltable.filesize=; //设置mapjoin小表的文件大小为20M,小表阈值

2. 开启并行执行

set hive.exec.parallel=true; //可以开启并发执行
set hive.exec.parallel.thread.number=; //同一个sql允许最大并行度,默认为8。

3. 开启动态分区

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

最新文章

  1. .NET程序运行过程产生的问题
  2. caffe的python接口学习(6):用训练好的模型(caffemodel)来分类新的图片
  3. 粒子群优化算法-python实现
  4. HDU 2222(AC自动机模板题)
  5. iOS 蒙板,图片叠加显示漏空部分
  6. 联想预装win8系统改成win7操作步骤及注意事项
  7. iOS开发 UITableView之cell
  8. 网络版shell之网络编程练习篇--telnet服务端
  9. Backtrack下的dns爆破工具的目录
  10. SpringBoot入门:新一代Java模板引擎Thymeleaf(理论)
  11. Python:从入门到实践--第五章--if语句--练习
  12. day39Python
  13. Python 测试
  14. 软件工程课堂练习&课下作业
  15. 11.8 开课二个月零四天 (Jquery)
  16. 利用 gdb 探究main(int argc, char *argv[]){} 中的char *argv[]
  17. VB 中 copymemory的有关问题
  18. 解决:SqlDateTime 溢出。必须介于 1/1/1753 12:00:00 AM 和 12/31/9999 11:59:59 PM 之间提示问题
  19. BugPhobia回顾篇章:团队Alpha阶段工作分析
  20. P2042 [NOI2005]维护数列 && Splay区间操作(四)

热门文章

  1. oracle+mybatis报错:BindingException("Invalid bound statement (not found): ")
  2. sql server vs mysql
  3. WinDbg 图形界面功能(二)
  4. Angular惰性加载的特性模块
  5. Java 日期工具类(日期,月份加减等)--转
  6. 贪心算法训练(四)——(HDU1050)Moving Tables
  7. 关于连接sftp以及本地配置sftp的事情
  8. Java与设计模式之单例模式(下) 安全的单例模式
  9. vue + .net core 项目,源码在GitHub 希望对大家有所帮助
  10. Spring MVC原理及配置