使用maven开发MR

1.安装mvn(可以省略,因为eclipse自带maven插件)
　　1.1. 上传安装包到linux
　　1.2. 解压maven安装包

mkdir /usr/maven

tar -zxvf apache-maven-3.2.-bin.tar.gz -C /usr/maven

　　1.3添加maven到环境变量

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1..0_55

export MAVEN_HOME=/usr/maven/apache-maven-3.2.

export HADOOP_HOME=/cloud/hadoop-2.4.

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$MAVEN_HOME/bin

2.将m2.tar.gz解压到当前用户的家目录下

tar -zxvf m2.tar.gz -C ~/

3.在Eclipse下新建maven project
　　3.1安装Linux版本JavaEE的eclipse，包括如何快捷方式(create launcher)及更换快捷方式图标

　　3.2打开eclipse，new---project---Maven---Mavern project：next---勾选create a simple project
　　　　填写Group Id：【cn.ncst.mr】，Artifact Id：【datacount】，点击finish完成操作

　　3.3由于Linux不能联网下载依赖的Maven包，所以报错。解决问题方式：
　　　　导入已下载好的依赖包m2.tar，解压到root用户的家目录cd ~; tar -zxvf m2.tar(解压后是隐藏文件)
　　　　然后在eclipse的maven项目datacount上右键Maven---Update project---OK即可解决问题。
注意：Linux机并没有安装Maven程序，只是eclipse程序自带Maven插件而已。

　　3.4如果新建项目报错，在当前项目的pom.xml中添加如下内容，刷新即可（需要有网络）

<dependencies>

<dependency>

<groupId>org.apache.maven.plugins</groupId>

<artifactId>maven-resources-plugin</artifactId>

<version>2.4.3</version>

</dependency>

</dependencies>

4.编写hadoop程序
　　4.1.HDFS程序需要(在pom.xml文件中)引入依赖：

<dependencies>

<dependency>

<groupId>junit</groupId>

<artifactId>junit</artifactId>

<version>4.8.2</version>

<scope>test</scope>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-common</artifactId>

<version>2.4.1</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-hdfs</artifactId>

<version>2.4.1</version>

</dependency>

</dependencies>

　　4.2.MR程序需要(在pom.xml文件中)引入依赖：

<dependencies>

<dependency>

<groupId>junit</groupId>

<artifactId>junit</artifactId>

<version>4.8.2</version>

<scope>test</scope>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-common</artifactId>

<version>2.4.1</version>

</dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-mapreduce-client-core</artifactId>

<version>2.4.1</version>

</dependency>

</dependencies>

巴特西

使用maven开发MR

最新文章

热门文章