Hadoop_配置Hadoop开发环境（Eclipse）
2024-09-25 02:27:01
通常我们可以用Eclipse作为Hadoop程序的开发平台。
1） 下载Eclipse
下载地址：http://www.eclipse.org/downloads/
根据操作系统类型，选择合适的版本下载并安装。
2） 下载并编译Hadoop的Eclipse插件
网上可直接下载到Hadoop 1.x 的Eclipse插件，但是该插件和Hadoop2.2 不兼容，所以无法使用。
Hadoop 2.2 的Eclipse插件正处于开发过程中，你可以直接下载源代码并编译。本人在编译过程中碰到了一些ant的配置错误导致无法正常编译，修改ant配置即编译成功，为方便大家，我直接提供编译后的.jar文件供大家下载：
代码下载地址：https://github.com/winghc/hadoop2x-eclipse-plugin
编译后的插件下载地址：http://download.csdn.net/detail/zythy/6735167
3） 配置Hadoop插件
将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下，重启Eclipse即可看到该插件已生效。
通过Open Perspective菜单打开Map Reduce视图，如下：
选中大象图标，右键点击Edit Hadoop Location编辑Hadoop配置信息：
本地新建New Hadoop location 系统项目中使用如下两个配置：
[bigdatagfts@gft ~]$ cat ./hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.116.37.181:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/bigdatagfts/hadoop/local/var/hadoop/tmp/hadoop-${user.name}</value>
</property>
</configuration> [bigdatagfts@gft ~]$ cat /home/bigdatagfts/hadoop/etc/hadoop/yarn-site.xml
<property>
<name>yarn.resourcemanager.address</name>
<value>vm-45e5-3412:8032</value>
</property>
填写正确的Map/Reduce和HDFS信息。
4） 新建简单Mapreduce项目
通过向导新建一个Map/Reduce项目。在此过程中，请配置Hadoop的安装路径。
5） 通过Eclipse访问DFS
打开Resource视图，即可看到DFS：
此时，你可对DFS进行一些操作，比如上传本地文件到HDFS等等，如下图：
最新文章
- scala中的数组的转换操作
- SQL-数学、字符串、时间日期函数和类型转换
- JQuery制作简单的网页导航特效
- 007-python基础-pyc是什么
- LA 3641 (置换 循环的分解) Leonardo's Notebook
- nagios plugins之 check_http
- 在企业级开发中使用Try...Catch...会影响效率吗？
- 站点搭建从零開始（四） server的配置
- 算法——字符串匹配Rabin-Karp算法
- strtok函数读写冲突问题
- jwt vs session 以rails 为例 （翻译部分）
- leetcode --binary tree
- facebook api之基本概念（中文）
- linux下神奇的script
- 闲谈Hybrid
- 【LG3527】[POI2011]MET-Meteors
- 转: SQL中的where条件，在数据库中提取与应用浅析
- Win10 修改 开始 菜单样式..
- phpstorm一些简单配置
- visio studio code 用chrom启动打开本地html