MR程序本地调试,提交到集群运行
2024-10-18 23:30:41
在本地调试,提交到集群上运行。
在本地程序中的Configuration中添加如下配置:
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.136.128:9000");
System.setProperty("HADOOP_USER_NAME","hadoop");
conf.set("mapreduce.job.jar", "D:\\qf_exam\\target\\qf_exam-1.0-SNAPSHOT.jar"); // 此处填写你的jar包地址
conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.address", "http://hadoop03:8032");
conf.set("yarn.resourcemanager.scheduler.address","http://hadoop03:8030");
conf.set("mapreduce.app-submission.cross-platform", "true");//允许跨平台提交jar包
这样就可以了。
注意:要把程序给打成jar包,然后把jar包地址写道conf中。
设置允许跨平台提交jar包
最新文章
- 5种 JavaScript 调用函数的方法
- python学习笔记四 迭代器,生成器,装饰器(基础篇)
- JavaScript对象的创建之动态原型方式
- OBIEE 11g:Error:nQSError 36010 Server version 318 cannot read the newer version of the repository
- fedora 安装lamp
- 2015版App推广全攻略(完整版)
- 用 Qt 中的 QDomDocument类 处理 XML 文件(上)
- Android 视图切换库的使用 - SwitichLayout
- png图片压缩优化
- redis内存管理代码的目光
- jquery学习笔记2——jq效果
- css3 media媒体查询器用法总结 兼容ie8以下的方法
- ssh整合时报出的异常及解决办法
- java实验一总结
- LeetCode--242--有效的字母异位词
- 网络层——IP报文头介绍
- 通过修改Delphi 的 RTL,加快Delphi开发的应用程序速度和稳定性
- TLS/SSL测试工具
- 《图解Http》 HTTPS 安全协议
- 消息队列 MQ 入门理解