Datax环境搭建
Datax是一个在异构的数据库/文件系统之间高速交换数据的工具,本次搭建Datax环境,需要说明以下,我的jdk版本是1.7的,所以需要对jdk继续升级。
一、环境准备
软件环境:CentOS 6
系统环境:linux
jdk环境:1.8及以上
启动环境:python
二、升级jdk
需要先使用命令进行查看自己的jdk版本,命令: java -version 如果是1.8的请自行忽略此步骤。
windows系统在官网上进行下载相应版本的jdk:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html
使用filezill进行上传到linux,我的上传到了桌面(或者直接在linux进行下载也可以)。
进入终端,不进入管理员模式,使用命令 rpm -qa | grep java 进行当前jdk安装包的查看,如我的是1.7的版本。
使用命令rpm -e --nodeps 你的jdk版本 强制删除软件包,如我的是 rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64 (注意这里有多少软件包就删除多少软件包)
然后使用命令 tar -zxvf jdk-8u231-linux-x64.tar.gz 对压缩包进行解压。
解压后如下所示
将解压后的文件使用命令 sudo mv jdk1.8.0_231/ /opt/ 移动到/opt文件夹下,然后进入到该文件夹下进行查看。
然后使用命令 sudo vim /etc/profile 进行环境的配置,在末尾添加如下代码。
export JAVA_HOME=/opt/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin
保存退出后使用命令 source /etc/profile 启用配置文件。
然后使用命令 java -version 进行当前版本的查看,出现的信息与你现在安装的版本相同则升级成功。
三、安装python
python的安装详情请参考这个博客:https://www.cnblogs.com/MWCloud/p/11354591.html
在安装过程中,可能会出现一些问题,可以参考下面的办法进行解决。
(1)显示无法建立 SSL 连接。如图所示:
解决方法:
将https改为http.因为https会默认认证ssl
(2)下载速度过慢问题
wget下载有时候会比较慢,而python相对我们的下载速度来说显得比较大,所以,我们可以下载mwget(或者使用镜像源)进行加速,具体方法参见这篇博客:https://blog.csdn.net/luhengchang/article/details/81365484
四、安装DataX
从官网上下载DataX:https://github.com/alibaba/DataX/blob/master/userGuid.md 直接下载工具包
使用filezill上传到 指定目录。解压到指定目录,我的是上传到了 /usr/local
使用命令 tar -zxvf datax.tar.gz 进行解压,解压之后使用命令 cd datax/bin 进入到并目录下,再使用命令 python datax.py ../job/job.json 执行python脚本,如果出现以下内容则安装成功。
最新文章
- 自定义windows新建菜单
- WPF入门教程系列十三——依赖属性(三)
- linux常用命令和选项
- 程序员必备的代码审查(Code Review)清单【转载】
- 【iCore3 双核心板_FPGA】例程三:GPIO输入实验——识别按键输入
- 如何使用百度音乐搜索接口API
- metaprogramming笔记
- android自学笔记(1):android简介
- linux常用命令及安装软件命令
- yii 2.0 代码阅读 小记
- Java ZIP File Example---refernce
- PreferenceActivity使用示例
- huffman压缩解压文件【代码】
- IntelliJ IDEA设置统一编码utf-8
- AngularJS进阶(二十四)AngularJS与单选框及多选框的双向动态绑定
- Hishop数据库根据产品ProductID取产品规格
- 关于python的面向对象
- Java中的单实例
- wpf根据X与Y轴获取内部值
- vector源码(参考STL源码--侯捷):空间分配导致迭代器失效
热门文章
- npm ERR! Error: tunneling socket could not be established的解决问题
- 将代码生成器带入TVM
- Action4D:人群和杂物中的在线动作识别:CVPR209论文阅读
- TensorFlow实现多层感知机函数逼近
- 为IHttpClientFactory添加动态命名配置
- 关于Linux服务器部署
- Golang学习(用代码来学习) - 第三篇
- 『无为则无心』Python基础 — 8、Python中的数据类型(数值、布尔、字符串)
- 用Java语言编写的迷宫小游戏软件
- 阿里云中quick bi用地图分析数据时维度需转换为地理区域类型