一、增量数据的导入

1、两种方式

## query
有一个唯一标识符,通常这个表都有一个字段,类似于插入时间createtime
where createtime => 20150924000000000 and createtime < 20150925000000000 ##sqoop参数
Incremental import arguments:
--check-column <column> Source column to check for incremental change
--incremental <import-type> Define an incremental import of type 'append' or 'lastmodified'
--last-value <value> Last imported value in the incremental check column

2、用sqoop参数增量导入的方式

##
bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--table my_user \
--target-dir /user/root/sqoop/imp_my_incr \
--num-mappers 1 \
--incremental append \
--check-column id \
--last-value 4 #--incremental append //追加方式
#--check-column //检查的字段
#--last-value //最后的值,不包含这个值,从这个值后面的开始导入 ##
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -text /user/root/sqoop/imp_my_incr/part-m-00000
5,test,test
6,pudong,pudong
7,qiqi,qiqi

二、direct参数

直接导出模式(优化速度);

使用的是关系数据库自带的导入导出工具;

##
bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--table my_user \
--target-dir /user/root/sqoop/imp_my_incr \
--num-mappers 1 \
--delete-target-dir \
--direct

最新文章

  1. Switch重构处理
  2. N个数依次入栈,出栈顺序有多少种?
  3. 集合2--毕向东java基础教程视频学习笔记
  4. linux下mysql基础从安装到基本使用
  5. 初识Android &amp;&amp; 搭建Android开发环境
  6. R语言Cairo包的使用
  7. C++ Primer : 第十三章 : 拷贝控制之拷贝、赋值与销毁
  8. 关于XShell的常见使用和设置以及Linux中的常见命令.
  9. VB.NET 数组的定义 动态使用 多维数组
  10. spring入门:beans.xml不提示、别名、创建对象的三种方式
  11. 微信小程序组件学习中
  12. scikit-learn中机器学习模型比较(逻辑回归与KNN)
  13. Linux 下的分屏利器-tmux安装、原理及使用
  14. html5的audio实现高仿微信语音播放效果(实际项目)
  15. java.lang.IllegalStateException: Cannot run without an instance id.
  16. asp.net调用js方法
  17. CSS图片下面产生间隙的6种解决方案
  18. Python 数据库之间差异对比
  19. eclipse 在Servers窗口创建一个Tomcat 6.0 Server失败
  20. 020PHP基础知识——函数(三)

热门文章

  1. LeetCode -- 反转英文单词
  2. 李洪强iOS开发之带placeHolder的Textview
  3. maven命令学习-发布上传jar包-deploy
  4. EasyDarwin开源流媒体server将select改为epoll的方法
  5. 九度OJ 1115:数字求和 (基础题)
  6. 什么是 AQS ?
  7. asp概述
  8. swift-ios开发pod的使用(1)
  9. HTML初级教程 表单form
  10. maven项目所遇到的问题解决