Hadoop 7、MapReduce执行环境配置
MR执行环境有两种:本地测试环境,服务器环境
本地测试环境(windows,用于测试)
1、下载Winddows版的Hadoop程序,解压后在Hadoop目录的bin目录放置一个winutils.exe可执行文件(下载地址:http://pan.baidu.com/s/1mhrsQyG)
2、在windows下配置hadoop的环境变量
HADOOP_HOME
E:\big-data\hadoop-2.5.2\hadoop-2.5.2 Path
%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
3、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin
3、修改hadoop的源码
将Hadoop org.apachehadoop.io.nativeio.NativeIO.java 和 org.apachehadoop.mapred.YARNRunner.java拷备到项目的src目录下(包路径也不能变)
注意:修改项目JDK,确保项目的lib需要真实安装的jdk的lib,而不是工具自带的JDK
5、MR调用的代码需要改变:
a、src不能有服务器的hadoop配置文件
b、在调用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node7:8020");
config.set("yarn.resourcemanager.hostname", "node7");
在Eclipse中执行 Debug as -> java application;
服务器环境(用于真正企业运行环境)
1、直接运行Jar包方式,参照:http://www.cnblogs.com/raphael5200/p/5223684.html
2、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、把MR程序打包(jar),直接放到本地一个目录,我放在 E:\\jar\\wc.jar
b、修改hadoop的源码
将Hadoop org.apachehadoop.io.nativeio.NativeIO.java 和 org.apachehadoop.mapred.YARNRunner.java拷备到项目的src目录下(包路径也不能变)
注意:修改项目JDK,确保项目的lib需要真实安装的jdk的lib,而不是工具自带的JDK
c、增加一个属性:
Configuration config =new Configuration();
config.set("mapred.jar", "E:\\jar\\wc.jar");
d、在Eclipse中执行 Debug as -> java application 。
最新文章
- 【DDD/CQRS/微服务架构案例】在Ubuntu 14.04.4 LTS中运行WeText项目的服务端
- tyvj1194 划分大理石
- multiwii 2.4配置页面中文注释
- property内存管理策略
- Protocol Buffer基本介绍
- 图解SQL的Join(转摘)
- C#中反射的使用(How to use reflect in CSharp)(2)
- CSS3单位
- ASP.NET中配置应用程序
- cocos2d-x 旅程開始--(实现瓦片地图中的碰撞检測)
- Windows Server 2016-Powershell之客户端加域
- MySQL系列详解一:MySQL&;&;多实例安装-技术流ken
- NSMutableArray 增删操作测试
- python学习第七篇——字典访问键与值
- Linux 内存清理
- windows 设置ipsec防火墙
- QSplineSeries QChartView绘制曲线
- Luogu P4707 重返现世
- mysql5.6.35的安装脚本
- cblas_sgemm cblas.h