Windows下配置Hadoop的Java开发环境

最近在学习用java来编写MapReduce程序，我是先在windows中开发完成，运行没有问题之后，再打成jar包，放到Linux集群中运行，由于在配置windows的开发环境的时候就花了大半天的时间，所以我打算把这个过程给简单的记录一下，方便以后需要的时候可以快速查看，以免浪费过多的时间。

一、Windows中安装Hadoop客户端

先安装好eclipse和jdk，然后在windows中安装Hadoop，windows中的版本最好和集群中的版本一致，我的集群安装的版本是Hadoop3.2.1，所以在windows中也安装Hadoop3.2.1，先去官网下载安装包，下载地址为https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz，下载之后解压出来，要在windows中编程，还需要在hadoop的bin目录里面添加一个winutils.exe文件，下载地址为https://github.com/cdarlint/winutils,将对应版本的安装包下载下来，直接用里面的bin目录替换掉官网下载的安装包里面的bin目录即可，然后配置环境变量，环境变量配置好之后windows中的hadoop就安装完成了。

二、配置maven环境，创建maven工程

下载maven安装包，下载地址为http://maven.apache.org/download.cgi，windows系统中选择-bin.zip的安装包下载，下载之后解压出来，配置好环境变量(如果需要修改本地仓库地址，则打开安装包目录中的conf/settings.xml文件，找到<localRepository>/path/to/local/repo</localRepository>一行，将其复制到注释之外，然后将/path/to/local/repo修改成自己需要的地址之后保存文件即可，之后在命令行窗口输入mvn help:system,如果在刚才配置的目录下生成了一些文件，就说明配置成功了)，然后打开eclipse，选择Window-->Preferences-->Maven-->User Settings即可出现如下界面：

其中User Settings中填的是maven安装包中conf目录下的settings.xml目录,我的安装在F盘，所以就填F:\maven\conf\settings.xml,Local Repository中填的是maven安装包中的maven-repository目录，我的填的是F:\maven\maven-repository，填好之后点击Apply and Close，maven环境就配置好了。接下来就可以创建maven工程了，在eclipse中点击File-->New-->Project,然后选择Maven，在Maven下面选择Maven Project

点击Next，勾选Create a simple project

点击Next，在弹出框中填入Group Id和ArtifactId,然后点击Finish

Group Id和ArtifactId被统称为"坐标"，其中Group Id是项目组织唯一的标识符，对应的是java的包的结构，一般情况下填域名的反写，ArtifactId是项目的唯一标识符，对应项目名称，是项目根目录名称，填好之后在eclipse左侧就能看到项目的目录了（可能需要等待一段时间）

打开项目中的pom.xml文件,填入配置信息

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">

  <modelVersion>4.0.0</modelVersion>

  <groupId>com.qwer</groupId>

  <artifactId>MapReduceDemo</artifactId>

  <version>0.0.1-SNAPSHOT</version>

  <name>hadoop-test</name>

    <url>http://maven.apache.org</url>

    <properties>

        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

        <hadoop.version>3.1.2</hadoop.version>

        <!-- Logger -->

        <lg4j2.version>2.12.1</lg4j2.version>

    </properties>

    <dependencies>

        <dependency>

        	<!-- 客户端版本，最好和集群版本一致 -->

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-client</artifactId>

            <version>3.2.1</version>

        </dependency>

        <dependency>

            <groupId>junit</groupId>

            <artifactId>junit</artifactId>

            <version>4.12</version>

        </dependency>

        <dependency>

            <groupId>org.slf4j</groupId>

            <artifactId>slf4j-log4j12</artifactId>

            <version>1.7.30</version>

        </dependency>

    </dependencies>

    <build>

    	<plugins>

    		<plugin>

    			<artifactId>maven-compiler-plugin</artifactId>

    			<version>3.6.1</version>

    			<configuration>

    				<!-- jdk版本 -->

    				<source>1.8</source>	<!-- 源代码使用的JDK版本 -->

    				<target>1.8</target>	<!-- 需要生成的目标class文件的编译版本 -->

    			</configuration>

    		</plugin>

    		<plugin>

    			<artifactId>maven-assembly-plugin</artifactId>

    			<configuration>

    				<descriptorRefs>

    					<descriptorRef>jar-with-dependencies</descriptorRef>

    				</descriptorRefs>

    			</configuration>

    			<executions>

    				<execution>

    					<id>make-assembly</id>

    					<phase>package</phase>

    					<goals>

    						<goal>single</goal>

    					</goals>

    				</execution>

    			</executions>

    		</plugin>

    	</plugins>

    </build>

</project>

</project>

填好之后保存，然后在项目中的src/main/resources目录下创建一个名为log4j.properties的文件，填入日志的配置信息

log4j.rootLogger=INFO, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

log4j.appender.logfile=org.apache.log4j.FileAppender

log4j.appender.logfile.file=target/spring.log

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

完成以上操作，就可以在项目中的src/main/java目录下面开始编写程序了。

使用JAVA操作HDFS案例：https://www.cnblogs.com/ynqwer/p/14551744.html

使用JAVA编写MapReduce案例：https://www.cnblogs.com/ynqwer/p/14598487.html

巴特西

Windows下配置Hadoop的Java开发环境

一、Windows中安装Hadoop客户端

二、配置maven环境，创建maven工程

最新文章

热门文章