Sqoop导出MySQL数据
2024-09-03 13:06:25
导入所有表:
sqoop import-all-tables –connect jdbc:mysql://ip:port/dbName --username userName --password passWord -m 1 --hive-import;
导入一个表:
sqoop import --connect jdbc:mysql://ip:port/dbName --table tableName --username userName --password passWord -m 1 --hive-import;
hive中按照mysql中sqoop数据库tb1表创建表tb1
sqoop create-hive-table --connect jdbc:mysql://ip:port/dbName --table tableName --fields-terminated-by ',' --username userName --password passWord
将数据库sqoop中表tb1数据导入到hdfs中,map tasks数量为1
sqoop import --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --table tableName -m 1
将hdfs中的数据导入到hive表tb1中
load data inpath '/user/code-pc/tb1/part-m-00000' into table tb1;
分段并行导入
sqoop import --append --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --target-dir '/user/pg' --table tableName -m 1 --where "guidesp<='3'"
sqoop import --append --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --target-dir '/user/pg' --table tableName -m 1 --where "guidesp>'3' and guidestep<='5'"
并行导入:
sqoop import --connect jdbc:mysql://ip:port/dbName --username userName --password passWord --target-dir '/user/pg1/' --split-by columnName --table tableName -m 10
最新文章
- idea maven scala
- Ubuntu Server 14.04升级Ubuntu Server 16.04
- SQL数据库约束
- BizTalk开发系列(三十八)微软BizTalk Server定价和许可[解读]
- android获取当前行所属类和所属方法名
- 魅族MX3问题集锦
- 打造自己的Markdown编辑器
- Delphi总结使用TStrings的一些技巧
- 【WCF】错误处理(三):错误协定
- Tomcat学习笔记(一)一个简单的Web服务器
- docker进阶-搭建私有企业级镜像仓库Harbor
- Python模块探秘之smtplib,实现纯文本邮件的发送
- 三种方法实现Hadoop(MapReduce)全局排序(1)
- MySQL 8 配置文件
- 关于破解visualsvn 我这里是版本是5.2.1
- 小a的轰炸游戏 (差分)
- python 解释器
- js try catch 的使用,容错处理
- MySQL 服务启动y异常: 本地无法启动MySQL服务,报的错误:1067,进程意外终止---解决
- python 正则表达提取方法 (提取不来的信息print不出来 加个输出type 再print信息即可)