hadoop 提交程序并监控运行
程序编写及打包
使用maven导入第三方jar
pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion> <groupId>hadoop-study</groupId>
<artifactId>HadoopTest</artifactId>
<version>4.0</version>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<hadoop.version>2.7.5</hadoop.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.11</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-minicluster</artifactId>
<version>${hadoop.version}</version>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<finalName>word-count</finalName>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.1</version>
<configuration>
<source>1.6</source>
<target>1.6</target>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugin</groupId>
<artifactId>maven-jar-plugin</artifactId>
<version>2.5</version>
<configuration>
<outputDirectory>${basedir}</outputDirectory>
</configuration>
</plugin>
</plugins>
</build>
</project>
导入本地配置文件测试运行
在Idea 里选择ProjectStructure 添加hadoop配置路径并把它设为resource,可以进行build和run
打包文件提交运行
在Idea 里选择ProjectStructure 删除hadoop配置路径
在Idea 里选择ProjectStructure/Artifact,添加jar/from modules with dependencies,选择主类
hadoop jar HadoopTest.jar [args]
监视job运行状态
修改hadoop配置文件
<!--mapred-site.xml-->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
<!--yarn-site.xml-->
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
</configuration>
常用网址和命令
查看任务: hadoop job -list
杀死任务: hadoop job -kill jobid
任务页面:http://master:8088
常见问题
Class not found
在IDE编译的时候发生,可能是没有导入需要的依赖包
解决办法:使用maven配置依赖环境
当手动运行class 文件时发生,可能是没有设置hadoopclasspath
解决办法:export $HADOOP_CLASSPATH=CLASSPATH:".",或者是打包成jar运行
在任务页面无法看到job
原因:hadoop需要另外配置mapreduce的运行时环境,默认是local,需配置成yarn
解决办法:在mapred-site.xml中添加mapreduce.framework.name配置
retrying connecting 0.0.0.0
原因:没设置yarn.resourcemanger的主机ip,或者设置错文件
解决办法: 在yarn-site.xml 上添加yarn.resourcemanger.hoatname等信息
map卡在0%
原因:需要在yarn里面配置附属服务为mapreduce
解决办法:在yarn-site.xml 上添加yarn.nodemanager.aux-services
参考文章:https://blog.csdn.net/tangtang5156/article/details/40867759
最新文章
- SQLServer 2012重启服务后,自增1的标识列一次增长了1000左右
- 一则JVM memory leak解决的过程
- POJ1915Knight Moves(单向BFS + 双向BFS)
- js中的 !!
- VS2010手动添加外部工具和快捷键
- [NOIP2005]采药
- 数据结构 : Hash Table
- Altium Designer中Via过孔设置
- mac下virtualbox配置全网通
- springmvc 4.3,RequestParamMethodArgumentResolver无法正常解析String参数问题解决
- source ~/.bash_profile 只生效一次 解决方案
- [Swift]LeetCode733. 图像渲染 | Flood Fill
- vue前端面试题知识点整理
- Rsync 服务器端配置
- Unknown Treasure (卢卡斯 + 孙子定理, 模板题)
- LeetCode--155--最小栈
- Apache Shiro在web开发安全框架中的应用
- MariaDB删除重复记录性能测试
- MSP430 G2553 比较器Comparator_A+、数据流程图DFD、状态转换图STD
- Java 社区论坛 - Sym 1.5.0 发布
热门文章
- d3js enter/exit深入了解
- 三、python小功能记录——杀掉进程
- 理解 Java 正则表达式怪异的 \\ 和 \\\\,让您见怪不怪
- HTTP协议图--HTTP 响应状态码(重点分析)
- 鸡肋提权之变态root利用
- Linux系统下常用的磁盘管理命令——du / df / fdisk / mount / xxd
- 聊聊host中ip/域名映射记录的解析规则
- Html5 移动应用软件开发框架 JqueryMobile SenchaTouch 介绍
- SoapUI这么好,舍得不用吗?
- 【JavaScript】插件参数的写法