版权全部: zhe-jiang.he@hp.com  严禁转载!

1.安装插件

准备程序:

eclipse-3.3.2(这个版本号的插件仅仅能用这个版本号的eclipse)

hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin文件夹下)

将hadoop-0.20.2-eclipse-plugin.jar 拷贝到eclipse/plugins文件夹下,重新启动eclipse。

2.打开MapReduce视图

Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。

3.加入一个MapReduce环境

在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在以下空白的地方点右键,选择“New Hadoop location...”,如图所看到的:

在弹出的对话框中填写例如以下内容:

Location name(取个名字)

Map/Reduce Master(Job Tracker的IP和port,依据mapred-site.xml中配置的mapred.job.tracker来填写)

DFS Master(Name Node的IP和port,依据core-site.xml中配置的fs.default.name来填写)

4.使用eclipse对HDFS内容进行改动

经过上一步骤,左側“Project Explorer”中应该会出现配置好的HDFS,点击右键,能够进行新建目录、删除目录、上传文件、下载文件、删除文件等操作。

注意:每一次操作完在eclipse中不能立即显示变化,必须得刷新一下。

5.创建MapReduceproject

5.1配置Hadoop路径

Window -> Preferences 选择 “Hadoop Map/Reduce”,点击“Browse...”选择Hadoop目录的路径。

这个步骤与执行环境无关,仅仅是在新建project的时候能将hadoop根文件夹和lib文件夹下的全部jar包自己主动导入。

5.2创建project

File -> New -> Project 选择“Map/Reduce Project”,然后输入项目名称,创建项目。插件会自己主动把hadoop根文件夹和lib文件夹下的全部jar包导入。

5.3创建Mapper或者Reducer

File -> New -> Mapper 创建Mapper,自己主动继承mapred包里面的MapReduceBase并实现Mapper接口。

注意:这个插件自己主动继承的是mapred包里旧版的类和接口,新版的Mapper得自己写。

Reducer同理。

6.在eclipse中执行WordCount程序

6.1导入WordCount

WordCount

6.2配置执行參数

Run As -> Open Run Dialog... 选择WordCount程序,在Arguments中配置执行參数:/mapreduce/wordcount/input /mapreduce/wordcount/output/1

分别表示HDFS下的输入文件夹和输出文件夹,当中输入文件夹中有几个文本文件,输出文件夹必须不存在。

6.3执行

Run As -> Run on Hadoop 选择之前配置好的MapReduce执行环境,点击“Finish”执行。

控制台会输出相关的执行信息。

6.4查看执行结果

在输出文件夹/mapreduce/wordcount/output/1中,能够看见WordCount程序的输出文件。除此之外,还能够看见一个logs文件夹,里面会有执行的日志

最新文章

  1. eclipse打开文件所在目录
  2. 大熊君JavaScript插件化开发------(实战篇之DXJ UI ------ Tab功能扩展完结版)
  3. python学习道路(day6note)(time &datetime,random,shutil,shelve,xml处理,configparser,hashlib,logging模块,re正则表达式)
  4. callback res.end 记得return(Javascript需要养成的良好习惯)
  5. 微软职位内部推荐-Senior Software Engineer-News
  6. [改善Java代码]小心switch带来的空值异常
  7. Node.js 之 express 入门 ejs include公共部分
  8. uva 215 hdu 1455 uvalive5522 poj 1011 sticks
  9. Ipad,IPhone(矩阵求递推项+欧拉定理)
  10. day4--老Word模板使用指南
  11. spark-submit参数说明--standalone
  12. 基于Docker的TensorFlow机器学习框架搭建和实例源码解读
  13. ubuntu 14.04下搭建esp32开发环境
  14. 【SpringCloud微服务实战学习系列】客户端负载均衡Spring Cloud Ribbon
  15. 【JMeter】接口自动化环境搭建
  16. java web 工程更改名字
  17. EF的学习
  18. jQuery插件开发之datalist
  19. SQL Cookbook—查询、排序
  20. spark学习(RDD案例实战)

热门文章

  1. js delete 操作符
  2. Bzoj4766: 文艺计算姬(Matrix-tree/prufer)
  3. bootstrap学习笔记细化(按钮)
  4. Client tried to access password protected page without proper authorization (status code 401) 无法发布SceneService的解决方法
  5. CountDownTimer的用法及原理
  6. 理解android中ListFragment和Loader
  7. SQL语句的执行顺序 1>优先执行,然后依数字排序
  8. 【Leetcode】【hard】Binary Tree Postorder Traversal
  9. C# 数据类型转换 显式转型、隐式转型、强制转型
  10. September 01st 2017 Week 35th Friday