Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架(如图 1 所示)使用 Oozie 协调器促进了相互依赖的重复工作之间的协调,您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle 系统提交或维护一组协调应用程序。作为本练习的一部分,Oozie 运行了一个 Apache Sqoop 作业,以便在 MySQL 数据库中的数据上执行导入操作,并将数据传输到 Hadoop 分布式文件系统 (HDFS) 中。可以利用导入的数据集执行 Sqoop 合并操作,从而更新较旧的数据集。通过利用 UNIX shell 操作,可从 MySQL 数据库中提取用来执行 Sqoop 作业的元数据。同理,可执行 Java 操作来更新 Sqoop 作业所需的 MySQL 数据库中的元数据。

Oozie 工作流是控制依赖有向非循环图 (DAG) 中安排的 Oozie 操作的集合。控制依赖(Control dependency)可确保以下操作在前面的操作已成功完成后才会启动。本文首先会简要概述工作流控制节点,然后重点介绍以下工作流操作节点:

参考资料:

http://www.ibm.com/developerworks/cn/data/library/bd-hadoopoozie/

最新文章

  1. Python正则化学习
  2. c#小小总结(设计模式)
  3. 微信公共平台开发5 .net
  4. 将text 文件转为List
  5. DelphiXE7中创建WebService(服务端+客户端)
  6. win7 debian 双系统修改引导项顺序
  7. AppScan修复漏洞:启用不安全的HTTP方法
  8. C# 静态类和非静态类的区别
  9. C#日期转换类
  10. 简单的jquery ajax文件上传功能
  11. java工程开发之图形化界面之(第三课)
  12. 移动H5开发入门知识,CSS的单位汇总与用法
  13. vb编程代码大全
  14. DotNetCore 定时服务 HangFire
  15. SQL kaggle learn : WHERE AND
  16. 【调试基础】Part 3 Window操作系统
  17. BZOJ2084 [Poi2010]Antisymmetry Manachar
  18. windows线程池
  19. PhpStorm 中切换PHP版本
  20. P3254 圆桌问题

热门文章

  1. Spring Boot RabbitMQ 延迟消息实现完整版
  2. 3.3 Lucene检索原理
  3. eclipse中git的使用
  4. Access-Control-Allow-Origin设置多个域名
  5. 文件搜索工具everything
  6. linux启动流程梳理【转】
  7. 1257 背包问题 V3——分数规划
  8. display:inline、block、inline-block的区别 摘】
  9. JavaEE中Filter实现用户登录拦截
  10. Kubernetes UI配置