MapReduce-自动化运行配置

1.打包时指定main Class信息

注意：默认直接通过maven插件打成jar包中没有指定main class信息，因此在运行mapreduce的jar包时必须在指令后明确main class信息需要在插件进行配置

 <build>

     <plugins>

       <plugin>

         <groupId>org.apache.maven.plugins</groupId>

         <artifactId>maven-jar-plugin</artifactId>

         <configuration>

           <outputDirectory>${basedir}/target</outputDirectory>

           <archive>

             <manifest>

               <!-- 在打包插件中指定main class 信息 -->

               <mainClass>com.yt.wordcount.WordCountJob</mainClass>

             </manifest>

           </archive>

         </configuration>

       </plugin>

     </plugins>

 </build>

　　执行命令：clean package

2.使用wagon插件实现自动上传至hadoop集群

 <build>

   <!--扩展maven的插件中加入ssh插件-->

     <extensions>

         <extension>

             <groupId>org.apache.maven.wagon</groupId>

             <artifactId>wagon-ssh</artifactId>

             <version>2.8</version>

         </extension>

     </extensions>

     <plugins>

         <plugin>

             <groupId>org.codehaus.mojo</groupId>

             <artifactId>wagon-maven-plugin</artifactId>

             <version>1.0</version>

             <configuration>

                 <fromFile>target/test.jar 或者 ${project.build.finalName}.jar</fromFile>

                                  <!--user是用户名  password是密码 -->

                 <url>scp://user:password@192.168.20.128/root</url>

             </configuration>

         </plugin>

     </plugins>

 </build>

　　执行命令：打包后直接执行 wagon upload-single

3.使用wagon上传jar完成后远程执行job作业

　　wagon配置加入commands命令

 <plugin>

   <groupId>org.codehaus.mojo</groupId>

   <artifactId>wagon-maven-plugin</artifactId>

   <version>1.0</version>

   <configuration>

     <fromFile>target/${project.build.finalName}.jar</fromFile>

     <url>scp://root:1@10.15.0.5/root</url>

     <commands>

       <!-- 通过sh 执行shell脚本文件 -->

       <command>nohup hadoop-2.9./bin/hadoop jar hadoop_wordcount-1.0-SNAPSHOT.jar > /root/mapreduce.out >&amp; &amp; </command>

     </commands>

     <displayCommandOutputs>true</displayCommandOutputs>

   </configuration>

 </plugin>

　　执行命令：clean package wagon：upload-single wagon：sshexec

4.idea简化指令插件下载

　　1.每次执行太繁琐，在idea有一个插件可以简化

2.在执行的代码右键

3.添加指令每个指令以空格分割点击ok

　　4.到这一步基本就完成了有了这个插件为我们省去了很多步骤

　　　右键就可以运行了

巴特西

MapReduce-自动化运行配置

1.打包时指定main Class信息

2.使用wagon插件实现自动上传至hadoop集群

3.使用wagon上传jar完成后远程执行job作业

4.idea简化指令插件下载

最新文章

热门文章