hadoop输入格式(InputFormat)

　　InputFormat接口(package org.apache.hadoop.mapreduce包中)里包括两个方法：getSplits()和createRecordReader()，这两个方法分别用来定义输入分片和读取分片的方法。

 public abstract class InputFormat<K, V> {

   public abstract

     List<InputSplit> getSplits(JobContext context

                                ) throws IOException, InterruptedException;

   public abstract

     RecordReader<K,V> createRecordReader(InputSplit split,

                                          TaskAttemptContext context

                                         ) throws IOException,

                                                  InterruptedException;

 }

　　getSplits()负责将文件切分成多个分片(InputSplit)，但InputSplit并没有实际切分文件，而只是说明了如何切分数据，也就是说，InputSplit只是逻辑上的切分。createRecordReader()则创建了RecordReader，用来从InputSplit读取记录。

　　再看InputSplit类，它包括了getLength()和getLocation()两个方法。getLength()方法用来获取InputSplit的大小，getLocation()则用来获取InputSplit的位置。

 public abstract class InputSplit {

   public abstract long getLength() throws IOException, InterruptedException;

   public abstract

     String[] getLocations() throws IOException, InterruptedException;

 }

　　每个InputSplit对应一个map任务。作为map的输入，在逻辑上提供了这个map任务所要处理的key-value对。

　　InputSplit只是定义了如何切分文件，但并没有定义如何访问它，这个工作由RecordReader来完成。RecordReader的实例是由InputFormat定义的。例如，在InputFormat的默认子类TextInputFormat中，提供了LineRecordReader。

 package org.apache.hadoop.mapreduce.lib.input;

 public class TextInputFormat extends FileInputFormat<LongWritable, Text> {

   @Override

   public RecordReader<LongWritable, Text>

     createRecordReader(InputSplit split,

                        TaskAttemptContext context) {

     return new LineRecordReader();

   }

　　LineRecordReader会把文件的每一行作为一个单独的记录，并以行偏移为键值。这也就解释了WordCount例子中，行偏移为key值，每一行的内容作为value的原因。

　　本文基于hadoop1.2.1

　　如有错误，还请指正

　　参考文章：《Hadoop应用开发技术详解》刘刚

　　转载请注明出处：http://www.cnblogs.com/gwgyk/p/3997734.html

巴特西

hadoop输入格式(InputFormat)

最新文章

热门文章