Azkaban 4.0.0 系列（一）-- Solo-Server

下载

链接

https://github.com/azkaban/azkaban/releases/4.0.0.tar.gz

解压

tar -xzvf 4.0.0.tar.gz -C 自定义目标目录

修改azkaban-4.0.0目录下的build.gradle文件

找到初始配置信息

maven{

    url 'https://linkedin.bintray.com/maven'

}

进行修改

maven {

    url 'https://linkedin.jfrog.io/artifactory/open-source/'

}

原有的仓库地址在国内访问会非常缓慢，甚至不能访问，造成编译过程报错。

修改 nodejs 相关配置

进入到/..../azkaban-4.0.0/azkaban-web-server目录中，打开build.gradle文件，将node选项中的download配置值设为false

node {

    // Version of node to use.

    version = '8.10.0'

    // Version of npm to use.

    npmVersion = '5.6.0'

    // Base URL for fetching node distributions (change if you have a mirror).

    distBaseUrl = 'https://nodejs.org/dist'

    // If true, it will download node using above parameters.

    // If false, it will try to use globally installed node.

    download = false

    // Set the work directory for unpacking node

    workDir = file("${project.buildDir}/nodejs")

    // Set the work directory where node_modules should be located

    nodeModulesDir = file("${project.projectDir}")

}

如果不修改的话，azkaban在编译的过程中就会去下载 node-8.10.0，大概率会因为网络问题使下载失败，从而导致编译失败。

我们本机需要准备好node环境(笔者在编译的时候遇到过，node环境已经存在，但是提示 npm not found 的报错信息，尝试多次后无果，最后将虚拟机重启解决。)

修改azkaban-db代码，以支持Mysql8.X系列数据库

进入/..../azkaban-4.0.0/azkaban-db/src/main/java/azkaban/db目录，修改MySQLDataSource.java

  @Inject

  public MySQLDataSource(final Props props, final DBMetrics dbMetrics) {

    super();

    this.dbMetrics = dbMetrics;

    final int port = props.getInt("mysql.port");

    final String host = props.getString("mysql.host");

    final String dbName = props.getString("mysql.database");

    final String user = props.getString("mysql.user");

    final String password = props.getString("mysql.password");

    final int numConnections = props.getInt("mysql.numconnections");

    //加上mysql的驱动类配置项，如果没有配置则默认是mysql5.x

    //-----------------begin-----------------------

    String driverName = props.getString("mysql.driverName");

    if(driverName == null){

        driverName = "com.mysql.jdbc.Driver";

    }

    //-----------------end-----------------------

    final String url = "jdbc:mysql://" + (host + ":" + port + "/" + dbName);

    addConnectionProperty("useUnicode", "yes");

    addConnectionProperty("characterEncoding", "UTF-8");

    //setDriverClassName(com.mysql.jdbc.Driver);

    //修改成从配置中读取驱动类名

    addConnectionProperty("useSSL", "false");

    setDriverClassName(driverName);

    setUsername(user);

    setPassword(password);

    setUrl(url);

    setMaxTotal(numConnections);

    setValidationQuery("/* ping */ select 1");

    setTestOnBorrow(true);

  }

azkaban 默认支持MySQL5.x版本，可以根据需要，决定是否让其适配5.x及8.x

编译

提前准备好 gradle-4.6-all.zip

下载链接：https://services.gradle.org/distributions/gradle-4.6-all.zip

整合到Azkaban中，目标目录如下：

    /..../azkaban-4.0.0/gradle/wrapper/

修改配置文件 gradle-wrapper.properties ：

distributionBase=GRADLE_USER_HOME

distributionPath=wrapper/dists

zipStoreBase=GRADLE_USER_HOME

zipStorePath=wrapper/dists

# distributionUrl=https://services.gradle.org/distributions/gradle-4.6-all.zip   #(注释掉这一行)

distributionUrl=gradle-4.6-all.zip   # (添加该行内容)

指令

cd /..../azkaban-4.0.0/

./gradlew build installDist

可能会出现 test failed 的提示，使用如下参数跳过测试。

./gradlew build installDist -x test

不出意外，编译会顺利进行。

启动 Solo-Server

指令

cd /..../azkaban-4.0.0/azkaban-solo-server/build/install/azkaban-solo-server

sh ./bin/start-solo.sh

服务检查指令：jps

返回：AzkabanSingleServer

浏览器访问：

http://本机ip:8081/

用户名/密码：azkaban/azkaban

案例

文件准备

mkdir first_azkaban_project && cd first_azkaban_project

vi basic.flow    (添加文件内容)

nodes:

  - name: jobA

    type: command

    config:

      command: echo "This is an echoed text."

vi flow20.project   （添加文件内容）

azkaban-flow-version: 2.0

打包：

zip -r Archive.zip .     (在 first_azkaban_project 下)

如果没有 zip 指令，使用 yum install zip -y 进行安装

将生成的zip包拉取到本地，上传到提前创建好的项目中，运行即可。

巴特西

Azkaban 4.0.0 系列（一）-- Solo-Server

下载

链接

解压

修改azkaban-4.0.0目录下的build.gradle文件

修改 nodejs 相关配置

修改azkaban-db代码，以支持Mysql8.X系列数据库

编译

指令

启动 Solo-Server

指令

案例

文件准备

最新文章

热门文章