Hive实现oracle的Minus函数
在Oracle中minus运算的主要功能是: 在进行两个表格或者两个查询结果的时候,返回在第一个表格/查询结果中与第二个表格/查询结果不同样的记录。
结果不同样的记录包括两种情况:A,B 表中某一行的内容不同和A表中的数据在B表中不存在。总之返回的是A表的数据。
Hive中没有实现minus功能的函数,仅仅好分步实现。
一、找出在A表中的数据在B表中不存在的数据
insert overwrite table tmp_A partition(name='A_innot_B')
select
a.*
from A a left outer join B b on (a.id = b.id) where b.id is NULL;
二、找出在A表和B表都存在但内容不同的数据
UDF函数例如以下:
public class Minus extends UDF{
String A="";
String B="";
public Text evaluate(String... strs){
for(int i=0;i<strs.length/2;i++){
A=A+strs[i];
}
for(int i=strs.length/2;i<strs.length;i++){
B=B+strs[i];
}
if(A.replace(" ", "").equals(B.replace(" ", ""))){
return new Text("NULL");
}else{
return new Text(strs[0].replace(" ", ""));
}
}
相应的查询例如以下:
insert overwrite table tmp_A_diff
select iminus(
a.*,b.*
) from A a join B b on (a.id=b.id);
上面的sql会执行Minus的java程序,改程序语句中有循环。假设数据量非常大非常耗时间。job进度卡着不动。也能够使用hive自带的函数实现
insert overwrite table tmp_A_diff
select if(
regexp_replace(
concat(
a.*
),
" ","")
=
regexp_replace(
concat(
b.*
),
" ","")
,NULL,b.id)
from A a
join
B b
on (a.id=b.id);
这样效率好些。
tmp_A_diff存储的是A表和B表都存在但内容不同的数据的id和一些“NULL”。
依据id获得每行数据
insert overwrite table tmp_A partition(name="A_in_B")
select a.*
from tmp_A_diff b join A a on (a.id=b.id);
如今tmp_A中分区A_innot_B和分区A_in_B的数据就是oracle中(select * from A)minus (select * from B)的数据。
最新文章
- 浅谈linux 下,利用Nginx服务器代理实现ajax跨域请求。
- HDFS shell
- CommonJS的模块规范
- 解析Json的谷歌官方方法Gson和阿里巴巴的fastJson方法。
- 最小生成树Kruskal算法
- 010GCC程序编译
- spark概论,补充
- Codeforces Gym 100002 Problem F ";Folding"; 区间DP
- POJ3697+BFS+hash存边
- Java Executor 框架学习总结
- proxy pattern 代理模式
- 利用Tkinter和matplotlib两种方式画饼状图
- mybatis快速入门(八)-spring-mybatis动态代理整合
- SUSE11虚拟机安装与Oracle 11g安装
- java框架之springboot
- cowboy源码分析(二)
- js 奇偶判断
- JavaScript基础视频教程总结(031-040章)
- 【C++ Primer | 19】嵌套类、局部类
- MXNET:权重衰减