MR程序的几种提交运行模式
2024-09-07 07:18:42
本地模式运行
1-在windows的eclipse里面直接运行main方法
将会将job提交给本地执行器localjobrunner
- 输入输出数据可以放在本地路径下
- 输入输出数据放在HDFS中:(hdfs://xxx:9000/wc/srcdata),如果将hdfs的配置文件放在类路径下面,那么不用写hdfs://
2-在linux的eclipse里面直接运行main方法,但是不要提那家yarn相关的配置,也会提交给localjobrunner执行
输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata)
输入输出数据也可以放在hdfs中(hdfs://XXXXX:9000/wc/srcdata)
集群模式运行
1-将工程达成jar包上传到服务器,然后用hadoop命令提交,hadoop jar wc.jar xx.xx.xx.xx.XXRunner
2-在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取下面的措施:
---在工程的src目录中加入mapred-site.xml
---将工程达成jar包(wc.jar),同同时在main方法中添加一个conf的配置参数,conf.set("mapreduce.job.jar",“XX.jar”)
3-在windows的eclipse中直接yunxingmain方法,也乐意提交给集群中运行,但是因为平台不兼容,需要做很多额外的设置
---要在windows中存放一份hadoop的安札UN该包(解压好的)
---要将其中的lib和bin目录替换成根据Windows版本重新编译出的文件,因为这两个目录中的文件都是和本地相关的;
---配置系统环境变量HADOOP_HOME和PATH
---修改YarnRunner这个类的源码=
最新文章
- PHP 程序员的技术成长规划
- python2 安装scrapy问题解决方法
- [ 兼容 ] IE和Firefox的Javascript兼容性总结
- codeforces 387C	 George and Number
- Windows Media Player axWindowsMediaPlayer1 分类: C# 2014-07-28 12:04 195人阅读 评论(0) 收藏
- MRC的下setter访问器的两种形式
- 磁盘缓存--YYCache 设计思路
- python 在字典中添加键值对的方法。
- JDBC-day1
- Django--缓存设置
- Android为TV端助力 遥控器的映射
- 深入浅出:HTTP/2
- pycuda安装 python<;3.0
- iOS 应用中打开其他应用 (转)
- jQuery().end()的内部实现及源码分析
- 如何修改bootstrap模态框的backdrop蒙版区域的颜色?
- /var/run/dbus/system_bus_socket no such file or directory
- b6
- oracle日期合并 分别用逗号或者分号隔开
- 洛谷P5284 [十二省联考2019]字符串问题(SAM+倍增+最长路)