1.16 sqoop options-file参数进行运行任务
2024-09-07 15:39:15
sqoop的options-file参数可以像hive的-f 参数那样,执行一个脚本文件,而不是直接在命令行执行;
其中,此脚本文件要遵循一定的格式;参考链接:http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html
1、options-file参数使用
##准备一个脚本文件,可以是txt、sql结尾文件
##vim /opt/datas/sqoop-import-hdfs.txt
import
--connect
jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test
--username
root
--password
123456
--table
my_user
--target-dir
/user/root/sqoop/imp_my_user_option
--num-mappers
1 ##sqoop执行
[root@hadoop-senior sqoop-1.4.5-cdh5.3.6]# bin/sqoop --options-file /opt/datas/sqoop-import-hdfs.txt ##在hdfs上查看,已经有数据了
[root@hadoop-senior hadoop-2.5.0-cdh5.3.6]# bin/hdfs dfs -ls -R /user/root/sqoop/imp_my_user_option
-rw-r--r-- 1 root supergroup 0 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/_SUCCESS
-rw-r--r-- 1 root supergroup 128 2019-05-07 14:18 /user/root/sqoop/imp_my_user_option/part-m-00000 #这种方式比较方便,就算出错了,也很容易修改,而且还可以直接把sqoop执行的这条命令放到脚本中执行;
#sqoop-import-hdfs.txt这个脚本文件中,还可以写注释,用#注释;
最新文章
- jquery版相片墙(鼠标控制图片聚合和散开)
- struts文件上传、文件下载
- SharePoint 2013 配置HTTPS(SSL)
- Unity3D之Mecanim动画系统学习笔记(四):Animation State
- hadoop完全分布式安装(转)
- VS2012、VS2010、VS2008常用的快捷键
- 为什么在Windows有两个临时文件夹的环境变量Temp和Tmp?
- Oracle问题解决(sqlplus无法登陆)
- Asp.net MVC集成Google Calendar API(附Demo源码)
- MySQL之使用DDL语句创建表
- bootstrap 导航栏鼠标悬停显示下拉菜单
- 【转】optach学习
- leetcode 448. Find All Numbers Disappeared in an Array -easy (重要)
- linux 服务配置
- 判断HDFS文件是否存在
- C# webApi上传图片 代码篇
- 磁盘挂载问题:Fdisk最大只能创建2T分区的盘,超过2T使用parted
- npm install webpack -g
- Golang指针基本介绍及使用案例
- excel怎么在插入的方框上打勾
热门文章
- Long-term stable release maintenance
- 随便写一点最近开发遇到的问题和解决方法 大部分关于laravel和php
- socketserver模块的使用
- Spring AOP(转载)
- Nginx下的https配置
- MySQL 创建自定义函数(1)
- error LNK1112: module machine type 'X86' conflicts with target machine type 'x64'
- 学习selendroid初衷
- iOS应用的入口自定义和事件处理的自定义
- (转)C++ STL set() 集合