1.11-1.12 Sqoop导入数据时两种增量方式导入及direct
2024-08-27 13:31:06
一、增量数据的导入
1、两种方式
## query
有一个唯一标识符,通常这个表都有一个字段,类似于插入时间createtime
where createtime => 20150924000000000 and createtime < 20150925000000000 ##sqoop参数
Incremental import arguments:
--check-column <column> Source column to check for incremental change
--incremental <import-type> Define an incremental import of type 'append' or 'lastmodified'
--last-value <value> Last imported value in the incremental check column
2、用sqoop参数增量导入的方式
##
bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--table my_user \
--target-dir /user/root/sqoop/imp_my_incr \
--num-mappers 1 \
--incremental append \
--check-column id \
--last-value 4 #--incremental append //追加方式
#--check-column //检查的字段
#--last-value //最后的值,不包含这个值,从这个值后面的开始导入 ##
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -text /user/root/sqoop/imp_my_incr/part-m-00000
5,test,test
6,pudong,pudong
7,qiqi,qiqi
二、direct参数
直接导出模式(优化速度);
使用的是关系数据库自带的导入导出工具;
##
bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--table my_user \
--target-dir /user/root/sqoop/imp_my_incr \
--num-mappers 1 \
--delete-target-dir \
--direct
最新文章
- Switch重构处理
- N个数依次入栈,出栈顺序有多少种?
- 集合2--毕向东java基础教程视频学习笔记
- linux下mysql基础从安装到基本使用
- 初识Android &;&; 搭建Android开发环境
- R语言Cairo包的使用
- C++ Primer : 第十三章 : 拷贝控制之拷贝、赋值与销毁
- 关于XShell的常见使用和设置以及Linux中的常见命令.
- VB.NET 数组的定义 动态使用 多维数组
- spring入门:beans.xml不提示、别名、创建对象的三种方式
- 微信小程序组件学习中
- scikit-learn中机器学习模型比较(逻辑回归与KNN)
- Linux 下的分屏利器-tmux安装、原理及使用
- html5的audio实现高仿微信语音播放效果(实际项目)
- java.lang.IllegalStateException: Cannot run without an instance id.
- asp.net调用js方法
- CSS图片下面产生间隙的6种解决方案
- Python 数据库之间差异对比
- eclipse 在Servers窗口创建一个Tomcat 6.0 Server失败
- 020PHP基础知识——函数(三)