数据导入与导出：

一．数据导入:

1.1导入内部表

（1）本地或者hdfs导入：

        LOAD DATA[LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLEtablename [PARTITION(partcol1=val1, partcol2=val2 ...)]

        区别是看有无关键字local，有local表示从本地路径导入，无local表示从hadoop（hbase或hdfs）导入。

导入的前提是目标表必须存在。如果无表要先建表，再导入：

        CREATE TABLE myword(idSTRING, counts INT, dt STRING) row formatdelimitedfields terminated by ‘\t’;

（2）用hive表的select结果导入

INSERT OVERWRITE TABLE T1 SELECT * FROMT2;

其中，INSERT OVERWRITE TABLE表示覆盖，删除原数据；

而INSERT into TABLE 表示增量的插入，不删除原数据。

另外，

删除表：drop table if exists T1；

清空表：truncate table T1；

1.2 导入外部表：

建表时直接指定数据源（不能指定本地文件，必须是hdfs路径）：

（1）Hdfs上数据导入hive：

	CREATE EXTERNAL TABLE wizad_mdm_dev_lmj_edition_20141120 (

	cookie_id STRING,

	guid STRING

	)

	 ROWFORMAT DELIMITED

         FIELDSTERMINATEDBY ','

         LINESTERMINATEDBY '\n'

         storedas textfile

       	 LOCATION'/user/wizad/test/lmj/edition_compare/';

        其中，也可以用全路径location'hdfs://namenode/user/wizad/test/lmj/edition_compare/';

（2）Hbase上数据导入hive表：

先指定参数

SET mapred.job.queue.name=queue3;

SEThbase.client.scanner.caching=5000;

SEThbase.zookeeper.quorum=datanode06,datanode07,datanode08;

SET zookeeper.znode.parent=/hbase;

有map类型结构，建表时需要指明：

CREATE EXTERNAL TABLE lxw2 (

key string,

value map<STRING,STRING>

)

STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES("hbase.columns.mapping" =":key,fixeddim:")

TBLPROPERTIES("hbase.table.name"="wizad_mdm_task_geely_hk_20141014"); 

查询结果

SELECT KEY,dim_name,dim_value FROM lxw2

LATERAL VIEW explode(VALUE) myTable1AS dim_name,dim_value

--WHERE KEY = '000000054153796

这里，读取Hbase库的数据，可能会导入失败，因为scan时间过大，可以设置长时间

sethbase.regionserver.lease.period=180000;

hbase与本地表jion时，可能出现启动后，无限等待。原因：

二．数据导出:

三种导出：

（1）导出到其他hive表：

覆盖：INSERT OVERWRITE TABLE t1 select * from t2;

不覆盖：INSERT INTO TABLE t1 select * from t2;

注意hive不支持 子查询结果直接建表，如 create table t1 as select * from t2; 在hive中是错误的

（2）导出到本地，hdfs（有无local）：

INSERT OVERWRITE [LOCAL]DIRECTORY directory1 select_statement1

这里注意：

导出本地时可以指定列分隔符，

而导出到hdfs上不可以使用hive默认\001（^A）

导入到hdfs上不能指定列的分隔符：

使用语句ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',' 会报错，不能识别。

代码如

INSERT OVERWRITE DIRECTORY'/user/wizad/tmp/mytest'

select * from wizad_mdm_dev_lmj_edition_insterest

因为hive导出到hdfs上，默认使用^A作为列分隔符，其对应着001。官方文档：Data written to the filesystem is serialized as text with columns separated by ^A。（所以，python中用line.split('\x01')或者line.split('\001')切分。）

但这样的数据在pig中无法读入，用'\001'或者'\\001'或者'^A'都无法读入。

解决办法：作为一个列整体读入后，在用STRSPLIT分隔按'\\001'（使用'^A'无效）,可以返回一个元组类似((a,b))，pig代码如下

%default interestFlie/user/wizad/tmp/mytest/*

--无效interest_data =LOAD '$interestFlie' USING PigStorage('\\001')

--无效interest_data =LOAD '$interestFlie' USING PigStorage('^A')

interest_data = LOAD '$interestFlie'

AS(cookie_id:chararray

--  guid:chararray,

--  dimkey :chararray,

--  dimvalue:chararray

);

test2 = foreach interest_data generateSTRSPLIT(cookie_id,'\\001');

DUMP res;

describe res;

结果：result结构:{(null)}

((B2BEF56E09EC115456E221,352751019523267,interest_11,161))

((B2BEF56E09EC115456E221,352751019523267,interest_13,102))

((EC15860E09D5EA545700E9,352751019523267,interest_11,161))

((EC15860E09D5EA545700E9,352751019523267,interest_13,102))

((daca0487-5424ef1a0dc3fa-11535481,352751019523267,interest_4,61))

((daca0487-5424ef1a0dc3fa-11535481,352751019523267,interest_21,21))

((daca0487-5424ef1a0dc3fa-11535481,352751019523267,interest_11,161))

((daca0487-5424ef1a0dc3fa-11535481,352751019523267,interest_13,102))

指定导出全路径也不行。

INSERT OVERWRITE DIRECTORY'hdfs://namenode/user/wizad/tmp/interest2/'

ROW FORMAT DELIMITED FIELDS TERMINATED BY','

select * fromwizad_mdm_dev_lmj_edition_insterest

2导出到本地，可以指定列分隔符：

INSERT OVERWRITE local DIRECTORY'/home/wizad/lmj/inserest2'

ROW FORMAT DELIMITED FIELDS TERMINATED BY','

select * fromwizad_mdm_dev_lmj_edition_insterest

导入到本地可直接用-e命令，默认使用\t分隔：

hive -e 'use wizad;

select * fromwizad_mdm_dev_lmj_edition_insterest;'>> mytest

查询结果使用\t作为列分隔符，mytest中

3531 3631 3730 3631 3931 3635 34360969  51617061916546.i

vim中16进制（%!xxd）两位对应一个字符，看到"."对应的09，在asii码表中09，就是tab制表符

也可以用hive -f：

[wyp@master ~/local]$ cat wyp.sql

select * from wyp

[wyp@master ~/local]$ hive -f wyp.sql>> local/wyp2.txt