a./etc/profile添加export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
b.将hive-site.xml 拷贝到 $SQOOP_HOME/conf目录下(否则报错找不到hive库)

--connect #关系型数据库连接
--username #关系型数据库连接用户名
--password #关系型数据库连接密码
--table #关系型数据库的表
--split-by #如果-m的数量不为1,则一定要加上该参数且最好是数值类型,否则会报错
--direct #快速模式,使用mysql自带的mysqldump导出数据
--delete-target-dir #如果hdfs的目录已经存在则先删除
--target-dir #导入到hdfs时的目标目录
--export-dir #从hdfs导出时的源目录
--fields-terminated-by #导入到hdfs时的hdfs文件分隔符
--input-fields-terminated-by #从hdfs导出时的hdfs文件分隔符
--hive-drop-import-delims #导入hive中的数据某列中如果有换行符或回车键可以删除
--hive-database #hive的数据库
--hive-table #hive的表
--hive-overwrite #覆盖之前的分区插入数据
--hive-partition-key #hive分区字段
--hive-partition-value #hive分区值
-m #指定map数量,也是生成的文件数

  

特别说明:如果指定的map的数量不为1,则一定要加上–split-by参数且最好是数值类型

sqoop import \
--connect "jdbc:mysql://deptest75:3306/test_data?useUnicode=true&characterEncoding=utf8" \
--username root \
--password 1q2w3e4r \
--table mysql_stu_info \
--delete-target-dir \
--hive-drop-import-delims \
--hive-import \
--hive-overwrite \
--hive-database test_data \
--hive-table stu_info \
--hive-partition-key ymday \
--hive-partition-value 20190329 \
--split-by age \
--fields-terminated-by '\t' \
-m 6

  这里记住一点,导入hive分区表时,sqoop会把结果存在hdfs的一个临时文件中,如果table是mysql_stu_info,执行用户是hadoop则先将数据写入 hdfs的/user/hadoop/mysql_stu_info文件中

在后面执行 LOAD DATA INPATH 'hdfs://emr-cluster/user/hadoop/mysql_stu_info' OVERWRITE INTO TABLE `default.mysql_stu_info` PARTITION (ymday='20190329')

这里就需要注意同表不同库的冲突问题了

最新文章

  1. virtualBox下面安装linux系统如何共享目录
  2. Codeforces Round #229 (Div. 2) C. Inna and Candy Boxes 树状数组s
  3. js体验
  4. atitit.提升备份文件复制速度(4) ---数据挖掘 获取回收站文件列表
  5. jquery封装常用方法
  6. [css] 自适应布局 移动端自适应
  7. mvc:view-controller
  8. Spark Streaming揭秘 Day23 启动关闭源码图解
  9. StringBuffer和String 的例子
  10. yum安装lamp环境
  11. Robot Framework: 自定义自己的python库
  12. 逐步搭建Lamp环境之vim的三种模式以及基本命令
  13. 几种扫描二维码工具的User-Agent
  14. Git操作中crlf和lf冲突问题
  15. php中curl返回false的解决办法
  16. python:HTMLTestRunner测试报告优化
  17. Nmap扫描教程之网络基础服务DHCP服务类
  18. Frogger--poj2253
  19. 由于C++类库版本不同导致的OpenCV编译链接错误
  20. 系统调用方式文件编程-open

热门文章

  1. .net 下SSE使用demo
  2. Prometheus插件安装(cadvisor)
  3. nginx编译安装以及常用参数详解
  4. python的常见问题解决
  5. python 在一个文件夹的所有文件中查找关键字
  6. python路径含空格导致打开文件报错
  7. MySQL联合索引的创建规则
  8. AppCrawler自动遍历工具,适用于移动端
  9. windows mongo 开启副本集 6.x版本 mongo : 无法将“mongo”项识别为 cmdlet、函数、脚
  10. vscode自定义工作目录