hive中使用spark执行引擎的常用参数
2024-08-28 20:04:39
set hive.execution.engine=spark;
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=8;
set hive.exec.compress.intermediate=true;
set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
set hive.intermediate.compression.type=BLOCK;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set mapred.output.compression.type=BLOCK;
以上。
最新文章
- linux 网卡问题 Device eth0 does not seem to be present,delaying initialization.
- Myeclipse中打开接口实现类的快捷键
- php 随记
- python 返回函数
- ASP.NET MVC之视图生成URL
- java 获取当前时间及年月日时分秒
- Ajax提交打开新窗口，浏览器拦截处理
- APPCAN学习笔记003---原生开发与HTML5技术
- childNodes属性 和 nodeType属性
- 2015 ACM/ICPC Asia Regional Shenyang Online
- Sencha Touch vs jQuery Mobile
- maven 工程依赖了某个jar包 但还是报java.lang.ClassNotFoundException的问题
- Pycharm 自定义快捷键
- java配置、IntelliJ IDEA Ultimate激活、
- Hadoop生态圈-Flume的主流source源配置
- IIS7虚拟目录出现HTTP错误500.19（由于权限不足而无法读取配置文件）的解决方案
- click只能点击一次
- Intersection of Two Linked Lists(LIST-2 POINTER)
- Centos之命令搜索命令whereis与which
- HISTTIMEFORMAT 设置历史命令时间的格式