hive数据导入导出和常用操作

导出到本地文件

insert overwrite local directory '/home/hadoop'
select * from test1;

导出到hdfs

insert overwrite directory '/data/input'
select * from test1;

导出到本地文件

hive -e "select * from test1" >> /home/hadoop/d.txt

hive -f a.sql >> local/e.txt

导入到其它表

insert overwrite 会覆盖已经存在的数据，我们假设要插入的数据和已经存在的N条数据一样，那么插入后只会保留一条数据；

insert into table t2 select * from t1;

insert into 只是简单的copy插入，不做重复性校验，如果插入前有N条数据和要插入的数据一样，那么插入后会有N+1条数据；

insert overwrite table t2 select * from t1;

创建表：

create TABLE tmp2
as
select t2.*,1 as d2
from t2
where EXISTS (select 1 from t1
where t1.account_id = t2.account_id)

更新数据update：

INSERT OVERWRITE TABLE tmp_jxsj_questionnaire_only
select t2.dt, t2.record_date,

　　when t2.q3 = '1' and t2.q10 = '7' then 0

　　else 1
end validity_flag
from t2

添加字段：

ALTER TABLE tmp_jxsj_questionnaire_5 ADD COLUMNS ( d2 string );

删除表

DROP TABLE [IF EXISTS] table_name;

插入数据

set hive.exec.dynamic.partition.mode=nonstrict;

set mapreduce.job.reduces=;

set hive.exec.compress.output=true;

set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

INSERT INTO role_info  PARTITION (dt)

SELECT t.*,

t.dt -- 对应参数PARTITION (dt)，可以对应多个分区参数，按顺序一一对应即可

from bigtable_log  t

where t.dt >='2017-04-21'

and t.dt <= '2017-04-25'

FROM bigtable_log a

INSERT overwrite TABLE test1

SELECT a.account_id

where  a.actiontype= and a.dt>='2017-04-20'

limit

INSERT overwrite TABLE test2

SELECT a.account_id

where  a.actiontype= and a.dt>='2017-04-20'

limit ;

巴特西

hive数据导入导出和常用操作

最新文章

热门文章