MapReduce开发程序，运行环境配置
Hadoop主机：linux
开发环境主机：Win7 + Itellij
本地运行
1. 下载hadoop安装包，放到本地目录中。
2. 配置环境变量$HADOOP_HOME及$PATH=$HADOOP_HOME/bin
3. 下载winutils.exe放到本地目录的$HADOOP_HOME/bin目录下。
4. 修改hadoop的源码
NativeIO.java org.apache.hadoop.io.nativeio
YARNRunner.java org.apache.hadoop.mapred
5. src目录下不能有hadoop的配置文件
6. 程序中的配置需要添加：
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node1:8020");//不能使用集群地址，只能指定hdfs地址，本地执行mr任务，但是访问的hdfs还是hadoop主机的。
服务器运行
一、程序打包以后直接放到服务器端执行
将打包后的程序，放到服务器上，然后通过命令执行：hadoop jar *.jar
二、在本地调用，直接运行在服务器上
1、在src目录下放置hadoop配置文件
2、修改hadoop源码
NativeIO.java org.apache.hadoop.io.nativeio
YARNRunner.java org.apache.hadoop.mapred
3、程序中增加配置
configuration.set("mapred.jar","D:\\Project\\MyDemo\\etl\\out\\artifacts\\etl\\etl.jar");
程序编译成jar后生成的目录位置。
最新文章
- 关于fill_parent，match_parent和wrap_content (转载)
- git的一些相关知识
- cassandra 之 jdbc 使用【java、scala】
- Mysql 简单问题汇总（持续更新）
- LoadRunner error -27728
- C# 两时间，时间间隔
- UVa 10029 hash + dp
- java中的继承要点
- T-SQL索引
- 网络通信框架Apache MINA
- winform中的 datagriview 字段自动填充长度
- jmeter后置处理器 JSON Extractor取多个变量值
- eclipse环境下基于tomcat-7.0.82构建struts2项目
- 【转载】Java系列笔记(1) - Java 类加载与初始化
- OO第四次作业总结
- Could not process inbound connection: Client [/rostopic_18439_1555659423249] wants topic , ROS md5sums do not match
- VM虚拟机扩展硬盘容量
- mac 回车键、空格键失灵（非物理原因）解决方法
- 学JS的心路历程 - PixiJS -基础（一）
- java mail 读取邮件列表，