Impala性能优化
2024-10-20 03:37:22
不多说,直接上干货!
• 执行计划
– 查询sql执行之前,先对该sql做一个分析,列出需要完成这一项查询的详细方案
– 命令:explain sql、profile
要点:
• 1、SQL优化,使用之前调用执行计划
• 2、选择合适的文件格式进行存储
• 3、避免产生很多小文件(如果有其他程序产生的小文件,可以使用中间表)
• 4、使用合适的分区技术,根据分区粒度测算
• 5、使用compute stats进行表信息搜集
• 6、网络io的优化:
– a.避免把整个数据发送到客户端
– b.尽可能的做条件过滤
– c.使用limit字句
– d.输出文件时,避免使用美化输出
• 7、使用profile输出底层信息计划,在做相应环境优化
• 8、如果是刷新表的新增元数据要使用refresh 表名 来刷新,不要使用impala-shell -r 或 invalidate metadata
• 9、如果执行SQL的结果内容较多的话可以使用 impala-shell -B 将一些不必要的样式输出去掉
最新文章
- Class.forName()用法及与new区别
- HTML标签-【fieldset】-fieldset
- android中点击空白处隐藏软键盘
- centos安装oracle 11g 完全图解
- free pascal 错误代码表
- JS 数组去重的几个方法
- wpa_supplicant安装
- ecmall widgets 挂件开发详解
- java中Executor、ExecutorService、ThreadPoolExecutor介绍(转)
- 细说";回车";和";换行";的故事
- 浏览器未安装flash插件,js判断直接去官网安装
- Solr-Centos7 安装部署solr-5.5.4
- 晓莲说-何不原创:java 实现二维数组冒泡排序
- [BZOJ1707] [Usaco2007 Nov] tanning分配防晒霜 (贪心)
- 融云(API)
- loadrunner 上传下载
- C# 在窗体上可拖动控件
- iOS---------Xcode中添加预编译pch文件
- 【Tensorflow】Tensorflow入门教程
- 使用mysql自带工具mysqldump进行全库备份以及source命令恢复数据库
热门文章
- PostgreSQL Replication之第四章 设置异步复制(2)
- vuejs v-bind
- maven+spring-data-jpa环境搭建
- Delayer 基于 Redis 的延迟消息队列中间件
- JDBC连接SQL Server 2005 报错Connection refused: connect
- HBase源代码分析之HRegion上MemStore的flsuh流程(二)
- css footer not displaying at the bottom of the page
- CSS元素选择器 element selector(type selector)
- 101.C++继承三种权限
- HDU 4372 Count the Buildings