HIVE 调优思路和实践

1，数据存储调优

1.1 设置压缩：
　　设置中间数据/输出结果压缩传输，使用snappy格式。

hive-site.xml:

set hive.exec.compress.output = true  # 输出结果压缩

set hive.exec.compress.intermediate = true  # 中间结果压缩

具体压缩算法配置:

mapred-default.xml（Hadoop 安装目录内）：

mapreduce.map.output.compress = true  # map任务输出压缩

mapreduce.map.output.compress.codec = Snappy #压缩算法

mapreduce.output.fileoutputformat.compress # reducer 输出压缩

mapreduce.output.fileoutputformat.compress.codec # reducer 压缩算法

mapreduce.output.fileoutputformat.compress.type #reducer 压缩类型

1.2 增加热数据的副本数. 减少传输延迟。

hdfs系统的副本数是固定的。这里是修改单个文件的副本数量。

在写入表（文件）时设置：

set dfs.replication=10;  # dfs默认3

Insert overwrite table  tmp.dim_test  select *  from other_table;

或者在hdfs 内，上传文件时修改；

hadoop dfs -D dfs.replication=2 -put  dim_test.txt   /***/

2，常见配置项调优

2.1 当查询的数据量足够小时，启用本地模式。

hive-site.xml:

hive.exec.mode.local.auto = true  # 自动启动local 模式

hive.exec.mode.local.auto.inputbytes.max  = 50000000 # 最大字节数的阈值

2.2 在一些可以设置并行执行的任务中，配置 parallel

可以运行并行的任务，比如在join 之前，对多个数据源的处理。还有移动多个数据源插入目标表。

hive.exec.parallel = true  # 并行运行

hive.exec.parallel.thread.number  = 8 # 最多线程数

2.3 Fetch task获取数据，直接读取文件，不MR。某些简单操作适用。

hive.fetch.task.conversion = more # 对 SELECT, FILTER, LIMIT only UDFs, 有效

2.4 更换执行引擎： spark tez mr

hive.execution.engine  = spark # 设置spark引擎

3，计算代码级调优

3.1，去重算法调优

不可使用DISTINCT；Hive去重最佳方法----row_number() ，模拟了分区排序。map 内分区排序，reduce内归并排序，效率高。

举例对客户表（id , name , order_id , data ）去重，假设数据量非常大。

3.2 排序算法

　　order by :一个reduce，全局排序，性能差。数据量较少时，可以使用

　　sort by : map端排序完成，分区输出，局部有序。

　　distribute by：按照指定的字段对数据进行划分到不同的输出reduce

　　cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能，建议使用。

4，常见问题调优

4.1 、小文件太多如何调优

4.1.1，调用 hdfs的方法合并小文件，sync() append() 文件层面; 或者使用hadoop 管理命令合并；

举例 : 每日产生大量product_info_* 的文件，合并这些文件

hadoop fs -getmerge /hdfs_path/product_info_* /local_path/product_inf  # 合并后保存到本地

hadoop fs -put  /local_path/product_inf  /hdfs_path # 合并文件再上传到hdfs

4.1.2, Hadoop archive 命令，解决对于NN 内存问题。但是不能解决计算中的问题

可以更有效的把大量小文件打包放入block，因此减少NameNode压力。

 hadoop archive -archiveName name -p <parent>  <src>* <dest> # 打包成 .har文件

4.1.3，SequenceFile ，使用文件名作为 key，文件内容作为 value。支持mr分块处理，支持压缩
　　　　最好将源数据直接写入 SequenceFile，而不是作为中间步骤写入小文件。

4.2 、数据倾斜如何调优

　　本质原因是，1,发生大量数据的网络传输 2，磁盘IO速度缓慢

4.2.1 配置项

hive.optimize.skewjoin=true;     #默认false，如果存在数据倾斜可能性，可以将其设置为true

SET hive.skewjoin.key=100000;  #默认为100000，如果key的数量大于配置的值，则超过的数量的key对应的数据会被发送到其他的reduce任务

hive.groupby.skewindata=true  #在分组任务，首先额外触发一个mr作业，该作业的map任务的输出会被随机地分配到reduce任务上，从而避免数据倾斜

hive.auto.convert.join=true  # 大表和小表连接问题，  新版可以配置后，自动识别到此情况。

4.2.2 代码级

1，行列裁剪； 2个都是分桶表，连接key是分桶字段。只读取需要的桶数据。

 select  name , order  from table_a  where  date >= '2008-03-01' AND date <= '2008-03-31'

2，大表和大表连接问题

　 1，Key 字段加随机字段，把分区打散。　

比如， a 和 b 表连接，连接的key集中于 date = 20200120

2，把2个表定义为 ”有序分桶表“ 使用 BUCKET MAP JOIN / SORT MERGE BUCKET MAP JOIN // 分桶有序

巴特西

HIVE 调优思路和实践

最新文章

热门文章