Sqoop的介绍和安装
sqoop下载地址:https://share.weiyun.com/woVbfnfS
或者 https://archive.apache.org/dist/sqoop/1.99.7/
Sqoop简介
sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。
核心的功能有两个:导入、导出
导入数据:MySQL,Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统
导出数据:从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等
sqoop本质是迁移数据, 迁移的方式:就是把sqoop的迁移命令转换成MR程序
hive本质就是执行计算,依赖于HDFS存储数据,把SQL转换成MR程序
Sqoop的安装
(1) 解压到指定目录:
tar -zxvf /bigData/software/sqoop-1.99.7-bin-hadoop200.tar.gz -C /bigData/install/
(2) 修改mapreduce.configuration.directory的目录
cd /bigData/install/sqoop-1.99.7-bin-hadoop200/conf/
修改sqoop.properties文件 修改org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/bigData/install/hadoop-3.1.4/etc/hadoop/配置
(3)配置环境变量
添加export SQOOP_HOME=/bigData/install/sqoop-1.99.7-bin-hadoop200,在PATH路径下添加$SQOOP_HOME/bin路径。
(4)添加mysql驱动 将mysql驱动包放在sqoop安装目录的server/lib目录下。
ll |grep mysql
(5) 验证配置
① sqoop2-tool upgrade
若出现“Caused by: java.lang.SecurityException: sealing violation: package org.apache.derby.impl.jdbc.authentication is sealed”错误。
需要查看/bigData/install/sqoop-1.99.7-bin-hadoop200/bin目录下的derby版本信息和hive目录下的版本信息做对比。
将sqoop目录下的derby重命名
cd /bigData/install/sqoop-1.99.7-bin-hadoop200/server/lib/
mv derby-10.8.2.2.jar derby-10.8.2.2.jar.back
hive目录下的derby库复制过来。
cp /bigData/install/apache-hive-3.1.2-bin/lib/derby-10.14.1.0.jar ./
使用 如下命令查看 版本是否正确
ll *derby*
再次输入如下命令,验证
sqoop2-tool upgrade
② 继续验证 sqoop2-tool verify
若出现“Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V”错误,
需要对比hive与sqoop目录下的guava库的版本:
cd /bigData/install/apache-hive-3.1.2-bin/lib
ll *guava*
查看sqoop下的guava版本,发现当前sqoop使用的guava版本均为11.0.2,需要修改:
cd /bigData/install/sqoop-1.99.7-bin-hadoop200
find . -name *guava*
将名称修改掉:mv ./tools/lib/guava-11.0.2.jar xxxxxxxxx/guava-11.0.2.jar.back
然后将hive下的guava复制到sqoop目录下:cp ./server/lib/guava-27.0-jre.jar xxx/
② 继续验证 sqoop2-tool verify
启动服务端/客户端
- 启动命令
sqoop2-server start
关闭命令 sqoop2-server stop
查看进程信息:
打开cli客户端命令:sqoop2-shell
最新文章
- k8s volume
- Android studio NDK 编译 ";$USE_DEPRECATED_NDK=true"; 异常问题解决
- Weak is not weak,Strong is not strong
- java.lang.VerifyError异常
- java 设计模式之单例模式
- USACO Preface Numbering 构造
- Apache Storm 1.1.0 发布概览
- 在Selenium Webdriver中使用XPath Contains、Sibling函数定位
- VS2013创建Windows服务 || VS2015+Windows服务简易教程
- js前端模块化(一) commonjs
- 深度学习结合SLAM研究总结
- 利用Team@OSC进行团队协作开发平台
- idea搭建Spring Boot+MyBatis
- block,inline和inline-block概念和区别(转载)
- hadoop历史版本,包括大名鼎鼎的hadoop 0.20.2
- ReactiveX 学习笔记(19)使用 RxSwift + RxCocoa 进行 GUI 编程
- ubuntu增加工作分区命令
- SQL Server的通用分页存储过程 未使用游标,速度更快!
- docker 部署nginx+weblogic集群
- P1091 合唱队列
热门文章
- [Python]-opencv-python模块(cv2)-图片读取和格式转换
- java项目中VO、DTO以及Entity,各自是在什么情况下应用的
- ProxySQL配置之MySQL服务器配置
- Elasticsearch: rollover API
- 基于CentOS 8服务器来搭建FastDFS高可用集群环境
- OSF--网络类型
- 《吐血整理》高级系列教程-吃透Fiddler抓包教程(24)-Fiddler如何优雅地在正式和测试环境之间来回切换-中篇
- NSIS检测并统计字符串中某个字符个数
- input框限制只能输入数字的两种方法
- 齐博x1小程序集群必须带上固定的标志