linux安装datax +datax-web踩坑总结
一丶安装datax
环境:JDK8+ py2.7+
下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
解压:tar -zxvf datax.tar.gz
自检:python 路径/datax.py 路径/job/job.json
这时候我报了个错,具体是啥错忘了,删除reader和writer中的 ._ 开头的文件,重新自检!
二丶安装datax-web
环境:mysql 5.7
datax-web下载:
链接:https://pan.baidu.com/s/1XrnHQpReCRLKz1HJflsEzQ
提取码:cwvv
解压:tar -zxvf datax-web.tar.gz
执行安装命令:./bin/install.sh --force
初始化数据库:找到/bin/db/datax-web.sql文件,复制文件的脚本内容,在mysql的data_web_db库中执行,主要是建一下基础表和初始化用户
修改数据库连接信息:在./modules/datax-admin/conf/bootstrap.properties设置data-web连接数据库的信息,连接mysql
#Database
DB_HOST=192.168.xx.xx
DB_PORT=3306
DB_USERNAME=datax-web
DB_PASSWORD=xxx
DB_DATABASE=datax_web_db
指定Python路径:在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径
vi ./modules/{module_name}/bin/env.properties
### 执行datax的python脚本地址
PYTHON_PATH=/mysoft/datax/bin/datax.py
启动服务: ./start-all.sh
停止服务:./stop-all.sh
访问:http://192.168.xx.xx:9527/index.html 默认用户:admin,默认密码:1231456
有的功能需要自己编译插件 比如es,clickhouse
先拉取代码:https://github.com/alibaba/DataX.git
删除不必要的模块
下载依赖
clear install
然后比如缺少clickhouse插件:
将编译后的这个模块放入 datax 的plugs 的writer中
最新文章
- Oracle查询数据库中的所有表
- css中的width,height,属性与盒模型的关系
- POJ--1416
- android直接读取数据库文件
- 七中滤波方法测试matlab实现
- linux电源管理系列(一)
- ibdata1文件--缩小mysql数据库的ibdata1文件
- Hive 编程之DDL、DML、UDF、Select总结
- Topshelf 一个简化Windows服务开发的宿主服务框架
- jQuery(三)
- msf中exploit的web_delivery模块
- VIM:Found a swap file by the name
- spark原理
- flink 有状态udf 引起血案一
- vagrant package制作一个box镜像
- python之count()函数
- OO 抽象方法与虚方法的区别
- 访问需要HTTP Basic Authentication认证的资源的各种开发语言的实现
- 基于候选区域的深度学习目标检测算法R-CNN,Fast R-CNN,Faster R-CNN
- netcat 详解