DataX的使用——大数据同步技术
准备工作:
1.视频教学http://113.31.104.47/portal/#/course/dashboard/b34d160db64624732ef152a1118af11a
2.DataX的安装部署https://www.cnblogs.com/qingyunzong/p/9759993.html#_label1_0
3.DataX的使用Python版本要求:2.7.X,DataX未更新至Python3Win10下python 2.7与python 3.6双环境安装图文教程
设计json文档:(sqlserver to mysql)
{ "job": { "setting": { "speed": { "channel": 3,
"byte": 1048576
}, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "name": "sqlserverreader", "parameter": { "username": "sa", "password": "######",
"where": "",
"column": [ "bname",
"bpwd" ], "connection": [ { "table": ["buyer"], "jdbcUrl": [
"jdbc:sqlserver://localhost:1433;DatabaseName=bookshop"
] } ] } }, "writer": { "name": "mysqlwriter", "parameter": { "writeMode": "insert", "username": "root", "password": "######", "column": [ "name",
"pwd" ], "session": [], "connection": [ { "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/hotwords?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2B8", "table": ["user"] } ] } } } ] } }
官方解读各个数据库文档https://github.com/alibaba/DataX
运行:
python 空格{datax文件夹路径}\bin\datax.py 空格{json配置文件的路径}
python2 D:\download\datax\datax\bin\datax.py D:\download\datax\job\sqlserverTomysql.json
乱码输入:
CHCP 65001
出错:
ERROR RetryUtil - Exception when calling callable, 即将尝试执行第1次重试.本次重试计划等待[1000]ms,实际等待[1000]ms, 异常Msg:[DataX无法连接对应的数据库,可能原因是:1) 配置的ip/port/database/jdbc错误,无法连接。2) 配置的username/password错误,鉴权失败。请和DBA确认该数据库的连接信息是否正确。]
解决方法:
datax里面的mysql驱动更换成合适的8.x的版本就好了:
查询你的mysql版本,下载相应的mysql-connector jar包
mysql -uroot -p
替换:
datax->plugins->reader->mysqlreader->libs->mysql-connector-5...的jar包换成8.XX的版本
datax->plugins->write->mysqlwriter->libs->coonector-5...的jar包换成8.XX的版本
运行成功:
最新文章
- 获取html 中的内容 将前台的数据获取到后台
- react + iscroll5 实现完美 下拉刷新,上拉加载
- 小白学习MVC5+EF6遇到的问题一
- 在Excel表里面插入背景图
- tornado和django的结合使用 tornado Server for django WSGI APP
- Struts2 Convention插件的使用(1)
- HDU5045-Contest(状压dp)
- Mac下Intellij IDea发布Java Web项目(适合第一次配置Tomcat的家伙们)详解二
- ios7毛玻璃效果实现
- jquery楼层效果
- RandomAccessFile出现中文乱码问题
- AD原理图统一命名
- [z]重建索引
- 读写分离MYSQL类
- spring boot1.5以上版本@ConfigurationProperties取消location注解后的替代方案 cannot resolve method location
- django不返回QuerySets的API
- EF CodeFirst下的自动迁移
- Navicat新建查询,系统找不到指定路径 独家解决办法
- [翻译] DFCircleActivityIndicator DF圆形活动状态指示器
- ORM框架SQLAlchemy的使用