大数据之路week07--day07 （Sqoop 从mysql增量导入到HDFS）

我们之前导入的都是全量导入，一次性全部导入，但是实际开发并不是这样，例如web端进行用户注册，mysql就增加了一条数据，但是HDFS中的数据并没有进行更新，但是又再全部导入一次又完全没有必要。

所以，sqoop提供了增量导入的方法。

1、数据准备：

2、将其先用全量导入到HDFS中去

3、先在mysql中添加一条数据，在使用命令进行追加

 #指定字段的取值范围，增量到数据(指的是Mysql增加了一条或多条数据，追加到HDFS中去,

 如果想追加到hive本来的数据中去就把路径换成hive的路径)

 # 适用于表不断的有新数据插入

sqoop import \

--connect jdbc:mysql://master:3306/student \

--username root \

--password  \

--table student_zeng \

--target-dir /user/hive/warehouse/sqlhivetest.db/student_zeng/ \

--split-by id \

-m  \

--fields-terminated-by '\t' \

--incremental append \

--check-column id \

--last-value

4、根据时间进行大量追加（不去重）

 追加

 sqoop import \

 --connect jdbc:mysql://master:3306/student \

 --username root \

 --password  \

 --target-dir /user/hive/warehouse/sqlhivetest.db/student_zeng/ \

 --table student_zeng \

 --fields-terminated-by '\t' \

 --check-column last_mod \

 --incremental lastmodified \

 --last-value "2019-12-19 20:57:16" \

 -m  \

 --append

结果：但是我们发现有两个重复的字段

5、往往开发中需要进行去重操作：sqoop提供了一个方法进行去重，内部是先开一个map任务将数据导入进来，然后再开一个map任务根据指定的字段进行合并去重

#根据业务可能需要去重  -merge-key 就是做这个事

sqoop import \

--connect jdbc:mysql://master:3306/student \

--username root \

--password  \

--target-dir /user/hive/warehouse/sqlhivetest.db/student_zeng/ \

--table student_zeng \

--fields-terminated-by '\t' \

--check-column last_mod \

--incremental lastmodified \

--last-value "2019-12-19 22:00:09" \

-m  \

-merge-key id

结果：

之前有重复的也进行合并去重操作，最后生成一个结果。

巴特西

大数据之路week07--day07 （Sqoop 从mysql增量导入到HDFS）

最新文章

热门文章