《Hadoop权威》学习笔记五：MapReduce应用程序

一、API的配置---Configuration类

API的配置：Hadoop提供了专门的API对资源进行配置，Configuration类的实例(在org.apache.hadoop.conf包)包括配置属性及其值的集合。每个属性是一个String类型，值的类型可能是以以下的多种类型：包括了Java基本类型(如boolean、int、long、float)和其他一些有用的类型。配置从给定资源中读取它们的属性，通常是名-值对构成的结构简单的XML文件

 <?xml version="1.0"?>

 <configuration>

     <property>

         <name>color</name>

         <value>yellow</value>

         <description>Color</description>

     </property>

     <property>

         <name>size</name>

         <value>10</value>

         <description>Size</description>

     </property>

     <property>

         <name>weight</name>

         <value>heavy</value>

         <final>true</final>

         <description>Weight</description>

     </property>

     <property>

         <name>size-weigth</name>

         <value>${size},${weight}</value>

         <description>Size and weight</description>

     </property>

 </configuration>

 Configuration conf = new Configuration();

 conf.addResource("configuration-1.xml");

 System.out.println(conf.get("color"));

 System.out.println(conf.getInt("size",0));

 System.out.println(conf.get("breadth","wide"));

合并配置文件：在Hadoop中，core-default.xml文件定义系统的默认属性，而core-site.xml定义特定重写的属性。如果同时定义多个配置文件，那么后来加入的属性将会覆盖之前定义的属性，但是如果final被标记为true的时候，该属性将无法被覆盖，系统会报配置出错。
扩展属性

1. 配置的属性可以由其他属性或者系统属性来定义，如${size}，${weigth}
2. 系统属性定义属性，即System.setProperty("size",14),并且优先级高于文件资源所定义的属性
3. 在命令行中使用JVM参数-Dproperty=value来重写属性

二、配置开发环境

conf选项：可以方便地切换配置文件

GenericOptionsParser，Tool和ToolRunner：GenericOptionsParser一个解释普通Hadoop命令行选项的类，可以根据应用需要在Configuration对象中进行设置，不过通常不这样使用，而是使用ToolRunnner，因为其实现了Tool接口，运行比较方便。

 public interface Tool extends Configurabel{

     int run(String [] args) throws Exception;

 }

 public class ConfigurationPrinter extends Configured implements Tool {

     static{

       Configuration.addDefaultResource("hdfs-default.xml");

       Configuration.addDefaultResource("hdfs-site.xml");

       Configuration.addDefaultResource("mapred-default.xml");

       Configuration.addDefaultResource("mapred-site.xml");

     }

     @Override

     public int run(String[] args) throw Exception{

          Configuration conf = getconf();

          for(Entry<String,String> entry:conf){

              System.out.printf("%s=%s\n",entry.getKey(),entry.getValue());

          }

          return 0;

     }

     public static void main(String[] args) throw Exception {

          int exitcode = ToolRunner.run(new ConfigurationPrinter,args);

          System.exit(exitCode);

     }

 }

三、编写单元测试

四、本地运行测试数据

五、在集群上运行

六、作业调优

作业优化检查表格

优化内容	最佳实践
mapper的数量	运行mapper需要多久时间？如果平均只运行几秒钟，则可以看是否能用能少的mapper运行更长的时间，通常是一分钟左右，时间的长度取决于使用的输入格式
reducer的数量	为了达到最高性能，reducer的数目应该比reducer槽的数目稍微少一点。这使得reducer能一次性完成任务，并在reducer阶段充分利用集群。
combiner	作业能否充分利用combiner来减少通过shuffle传输数据
中间值的产生	对map输出进行压缩能使作业执行更快
自定义序列	如果正在使用自己定义的Writable对象或自定义的comparator，则必须确保已实现RawComparator
shuffle运行	MapReduce shuffle可以对一些内存管理参数进行调整，将弥补性能上的不足。

HPROC分析工具：HPROC是一个JDK自带的分析工具，虽然只有基本的功能，但是同样能提供程序CPU运行和堆使用情况等相关有用的信息。

 conf.setProfileEnabled(true);//默认状态下，HPROF是关闭的，启用分析工具

 conf.setProfileParams("-agentlib:hprof=cpu=samples,heap=sites,depth=6,"+

 "force=n,thread=y,verbose=n,file=%s");//设置分析参数，既传到任务JVM的额外的命令行参数

 conf.setProfileTaskRange(true,"0-2");

 //指定分析的任务，第一个参数指明这是map任务的范围还是reduce任务的范围，如果是true代表是map，false代表的是reduce

 //第二个参数，指明要分析任务的ID

七、MapReduce的工作流

巴特西

《Hadoop权威》学习笔记五：MapReduce应用程序

最新文章

热门文章