oozie中调度mapreduce
2024-08-24 02:58:42
mapreduce可以直接对hdfs进行清洗和计算，这里介绍oozie中如何调度使用。
操作步骤如下：
1. 写一个mapper和reduce类，并且打包成jar包
2. 在workflow中引用mapper和reduce
3. oozie中常用的coordinator、job.properties配置。
4. 上传hdfs中oozie的app目录。
5. 测试。
案例：统计单词大小。
2.在workflow中可能引用
注意事项：
如果将mapper和reduce写在同一个类中时，在编译后生成的类如下，所以在workflow中填写，按照下面的类填写。
MRTest$MyMapper.class
MRTest$MyReduce.class
最新文章
- T-SQL 查询XML
- 又见SpringMVC
- mono 开发
- Angular ngClick 阻止冒泡和默认行为
- 《BI那点儿事》浅析十三种常用的数据挖掘的技术
- iOS多线程开发
- phpcmsv9的评论分表策略
- EF实体框架之CodeFirst二
- HDU 4004
- 四则运算2--设计思路--软件工程-c++
- 用完成例程(Completion Routine)实现的重叠I/O模型
- Android 自定义ToggleButton+用SharedPreferences保存用户配置
- Java基础知识强化之集合框架笔记41：Set集合之HashSet存储自定义对象并遍历练习
- HTML5新增的拖放API---（一）
- oracle pl/sql中的循环及if语句
- 一本通 1223：An Easy Problem
- webpack搭建vue项目，实现脚手架功能
- socket.io入门整理教程
- 数据挖掘算法之-关联规则挖掘(Association Rule)
- 【矩阵】RQ/QR 分解