Oozie — What Why and How
2024-10-12 03:00:56
- Oozie是什么？
Oozie最初是Yahoo！为Hadoop开发的一个工作流调度器，一个工作流有多个Job组成。它允许用户提交由多个Job组成的工作流配置文件，这些Job既可以顺序执行，也可以并行执行，还可以配置其中的Job定时执行、出错重新执行等。
Oozie提供了Java Client API和Web Service API以及命令行接口,使用简单。
现在是Apache的一个开源项目。
- 为什么使用Oozie？
主要是为了更方便、自由的使用Hadoop，提交作业。
对一个集群中每天有大量左右需要提交执行的情况来说，使用Oozie管理这些Job很方便。
另外一点就是，如果有Job执行出错，可以配置Oozie重新执行这些Job。
- 如何使用Oozie？
- 首先需要执行的Job的配置写入workflow.xml，配置中需要指明每个Job的输入文件、输出文件、输出Reader、输出Writer、Mapper、Reducer、Job的执行参数
- 然后提交这个xml文件
- 配置workflow的property （指明Name Node、JobTraker、job执行过程中所使用的jar包的location）
关于oozie的更多信息，请参考：
http://yahoo.github.com/oozie/
http://yahoo.github.com/oozie/releases/3.1.0/
http://incubator.apache.org/oozie
--------------
本文地址：http://nourlcn.ownlinux.net/2011/11/oozie-what-why-and-how.html
2011-11-20
最新文章
- 再讲IQueryable<T>，揭开表达式树的神秘面纱
- 手机设计尺寸 - iPhone界面尺寸
- http 状态码含义
- 2.4G/5G频段WLAN各国使用信道表
- CGRectInset & CGRectOffset
- java编译正常javac出错不是内部或外部命令
- CoreAnimation--CALayer的动画
- 使用C#访问SQLLite
- 啊哈C！思考快你一步——用编程轻松提升逻辑力
- 把notepad++设置为系统全局文本默认打开应用
- GS初始化
- Android-AnimationDrawable（三）运行的几种方式
- 洛谷 P1005 矩阵取数游戏
- 汉诺塔 Hanoi Tower
- mac 常用的开发工具
- k8s 如何 Failover？- 每天5分钟玩转 Docker 容器技术（127）
- ACM算法竞赛:抄课文
- 基于Metronic的Bootstrap开发框架--工作流模块功能介绍（2）
- Windows批处理命令用法
- JavaScript获取键盘事件