[大数据技术]datax的安装以及使用

1、datax简述

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

　　datax的开源地址：https://github.com/alibaba/DataX
　　安装参考：https://www.cnblogs.com/jiangbei/p/10901201.html

2、datax在windows下的简单使用步骤

　　在命令提示符界面进入datax\bin目录下，如CD E:\datax\bin

　　用Python2执行此处为json文件的路径

　　注意：必须使用Python2！！！！！！

　　Python3会报以下错误：

  File "datax.py", line 114

    print readerRef

                  ^

SyntaxError: Missing parentheses in call to 'print'. Did you mean print(readerRef)?

　　原因是python2的print在python3中变为了print（）函数。

　　因此可以安装python2，并用 py -2 来执行python代码，如：py -2 datax.py E:\New1.json 来执行python2的代码

　　同理py -3执行python3的代码。

3、datax简单示例参考（json文件）

　　从CSV到MySQL数据库

 {

     "job": {

         "content": [

             {

                 "reader": {

                     "name": "txtfilereader",

                     "parameter": {

                     "path": ["E:/Yi211.csv"],

                     "encoding":"gbk",

                         "column": [

                             {

                                 "index": 0,

                                 "type": "string"

                             },

                             {

                                 "index": 1,

                                 "type": "string"

                             },

                             {

                                 "index": 2,

                                 "type": "string"

                             },

                             {

                                 "index": 3,

                                 "type": "string"

                             },

                             {

                                 "index": 4,

                                 "type": "string"

                             },

                             {

                                 "index": 5,

                                 "type": "string"

                             },

                         ],

                     "fieldDelimiter":","

                     }

                 },

                 "writer": {

                     "name": "mysqlwriter",

                     "parameter": {

                         "column": [

                         "shengfen",

                         "chengshi",

                         "quezhen",

                         "zhiyu",

                         "siwang",

                         "shijian"

                         ],

                         "connection": [

                             {

                                 "jdbcUrl": "jdbc:mysql://localhost:3306/dbtest?useUnicode=true&characterEncoding=utf8",

                                 "table": ["yi211"]

                             }

                         ],

                         "password": "364624",

                         "username": "root",

                         "preSql":[""],

                         "session":["set session sql_mode='ANSI'"],

                         "writeMode":"insert"

                     }

                 }

             }

         ],

         "setting": {

             "speed": {

                 "channel": "1"

             }

         }

     }

 }

"path": ["E:/Yi211.csv"], 为要导入的csv文件路径。
"encoding":"gbk", 为读取CSV文件的编码格式，这里应注意可能导致中文乱码！！！
"column": 参考CSV文件列数进行（安装示例格式）进行进行修改。
"name": "mysqlwriter", 代表该部分代码为写入MySQL的部分，同理"name": "txtfilereader", 代表该部分代码为读文本的部分。
"jdbcUrl": "jdbc:mysql://localhost:3306/dbtest?useUnicode=true&characterEncoding=utf8", 参考自己连接数据库的部分进行修改，localhost此处代表ip；3306代表端口；dbtest修改为数据库名。characterEncoding代表写入表的编码格式
"username": "root", 数据库的用户名。
"password": "364624", 数据库的密码。
"writer": 部分的 "parameter": 填写MySQL数据表内的表头。

　　这里给出MySQL到MySQL数据库的部分json文件，与上部分同理。

 {

     "job": {

         "content": [

             {

                   "reader": {

                     "name": "mysqlreader",

                     "parameter": {

                         "column": ["id","name","num"],

                         "connection": [

                             {

                                 "jdbcUrl": ["jdbc:mysql://localhost:3306/dbtest?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true"],

                                 "table": ["test1"]

                             }

                         ],

                         "password": "364624",

                         "username": "root",

                     }

                 },

                 "writer": {

                     "name": "mysqlwriter",

                     "parameter": {

                            "column": ["id","name","num"],

                         "connection": [

                             {

                                 "jdbcUrl": "jdbc:mysql://localhost:3306/dbtest",

                                 "table": ["test2"]

                             }

                         ],

                         "password": "364624",

                         "username": "root",

                     }

                 }

             }

         ],

         "setting": {

             "speed": {

                 "channel": 1

             }

         }

     }

 }

4、可能出现的错误

json文件格式错误：

经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息，请检查您的作业配置 .] - 配置信息错误. 您提供的配置信息不是合法的JSON格式: unclosed string : * . 请按照标准json格式提供配置信息.

命令提示符界面出现出现乱码：

可以在cmd中输入： CHCP 65001 ，然后进行后续操作。

py -2 datax.py E:\New1.json

巴特西