hadoop mapreduce实现数据去重
2024-10-20 04:09:55
实现原理分析:
map函数数将输入的文本按照行读取, 并将Key--每一行的内容 输出 value--空。
reduce 会自动统计所有的key,我们让reduce输出key->输入的key value->空,这样就利用reduce自动合并相同的key的原理实现了数据去重。
源代码:
package com.duking.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser; public class Dedup { // map将输入中的value复制到输出数据的key上,并直接输出 public static class Map extends Mapper<Object, Text, Text, Text> { private static Text line = new Text();// 每行数据 // 实现map函数
public void map(Object key, Text value, Context context) throws IOException, InterruptedException { line = value; context.write(line, new Text(""));
}
} // reduce将输入中的key复制到输出数据的key上,并直接输出 这是数据区重的思想
public static class Reduce extends Reducer<Text, Text, Text, Text> { // 实现reduce函数 public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { context.write(key, new Text("")); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); // 这句话很关键
conf.set("mapred.job.tracker", "192.168.60.129:9000"); //指定带运行参数的目录为输入输出目录
String[] otherArgs = new GenericOptionsParser(conf, args)
.getRemainingArgs(); /* 指定工程下的input2为文件输入目录 output2为文件输出目录
String[] ioArgs = new String[] { "input2", "output2" }; String[] otherArgs = new GenericOptionsParser(conf, ioArgs)
.getRemainingArgs();*/ if (otherArgs.length != 2) { //判断路径参数是否为2个 System.err.println("Usage: Data Deduplication <in> <out>"); System.exit(2); } //set maprduce job name
Job job = new Job(conf, "Data Deduplication"); job.setJarByClass(Dedup.class); // 设置Map、Combine和Reduce处理类 job.setMapperClass(Map.class); job.setCombinerClass(Reduce.class); job.setReducerClass(Reduce.class); // 设置输出类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); // 设置输入和输出目录 FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
最新文章
- [C] C语言中的布尔值
- 关于软件工程结对编程作业 PairProject : Elevator Scheduler(电梯调度算法的实现与测试)的总结
- spring mvc拦截器和<;mvc:annotation-driven />;的详解
- nginx+tomcat+java部署总结
- linux下svn的co如何排除目录
- 【IHttpHandler】IHttpModule实现URL重写
- Redis文档
- SDL音频播放
- 学习Oracle一个星期以来的总结
- web2py官方文档翻译01
- 五、Hive
- Apache Commons介绍(转载)
- 最大k乘积问题
- MVC设计模式的简单理解
- vue配置404页面
- Oracle rac 监听状态异常远程连接问题解决(TNS-12541 TNS-12560 TNS-00511 Linux Error:111 ORA-12502)
- C语言题库----指针
- asp.net 连接SQL Server 数据库并进行相关操作
- Python+Flash+NodeJS 接口自动化平台
- andorid 对话框
热门文章
- Android无线测试之—UiAutomator UiDevice API介绍四
- bin/mysqld: error while loading shared libraries: libnuma.so.1: 安装mysql
- tomcat访问日志分析
- Travel(最短路)
- SharePoint服务器端对象模型 之 使用CAML进行数据查询(Part 3)
- 《UNIX网络编程》 -- 第六章
- Ubuntu 系统下可以做什么?
- 网络免费API接口整理
- 介绍一下except的用法和作用?
- P2P-BT对端管理协议(附BT协议1.0)