Sqoop-从hive导出分区表到MySQL
经多次验证,发现并没有特殊的方法能够直接把多个分区一次性读入,并插入MySQL的方法,以后发现会在此添加。
Sqoop只提供了从MySQL导入到HIVE分区表的相关参数,反向并无特别参数。
从HIVE分区表导入到MySQL,需要依次导入每个分区的数据
sqoop export \
--connect jdbc:mysql://server74:3306/Server74 \
--username root \
--password 123456 \
--table dw_pvs_hour \
--hive-partition-key datestr \
--hive-partition-value ‘2017-11-05’ \
--export-dir /user/hive/warehouse/dw_pvs_hour/datestr=2017-11-15/ \
--input-fields-terminated-by '\001' \
--input-lines-terminated-by '\n'
根据官方文档的说法,---export-dir这个参数是必须的,指定hive表源文件路径后,sqoop回到路径下路径下的文件,文件不是路径否则报错。所以分区表需要单独指定每个分区的目录,分别导入。
The --export-dir
argument and one of --table
or --call
are required. These specify the table to populate in the database (or the stored procedure to call), and the directory in HDFS that contains the source data.
最新文章
- mongodb(回滚)
- NanoProfiler - 适合生产环境的性能监控类库 之 实践ELK篇
- iOS ShareSDK 使用
- 【转载】IIS7.5(经典模式)访问静态资源(.css和.js文件)提示:未能执行 URL
- Linux匿名管道与命名管道
- 通过改变uiview的layer的frame来实现进度条
- sublime text使用技巧
- 实训第二天早上--hibernate之配置文件映射和注解
- Byte[]、Image、Bitmap 之间的相互转换
- 话说Fetch这个API
- nyoj1204 魔法少女 线性DP
- 演练Ext JS 4.2自定义主题
- 实现自适应位置--footer紧贴浏览器底部
- 从外部设置传入Go变量
- Mac 软件
- 对FPGA的时钟资源理解(更新中)
- linux 挂载磁盘
- iOS开发-从16进制颜色中获取UIColor
- linux内核编译错误集锦
- Java如何使用线程解决死锁?