Hadoop中MR程序的几种提交运行模式
2024-08-20 22:35:01
本地模型运行
1:在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行
----输入输出数据可以放在本地路径下(c:/wc/srcdata/)
----输入输出数据也可以放在hdfs中(hdfs://centosReall-131:9000/wc/srcdata)
2:在linux的eclipse里面直接运行main方法,但是不要添加yarn相关的配置文件,也会提交给localjobrunner执行
----输入输出数据可以放在本地路径下(/home/hadoop/wc/srcdata/)
----输入输出数据也可以放在hdfs中(hdfs:/centosReall-131:9000/wc/srcdata)
集群模式运行
1:将工程打成jar包,上传到服务器,然后用hadoop命令提交 hadoop jar wc.jar cn.intsmaze.hadoop.mr.wordcount.WCRunner
程序编写好以后要打包成jar包放到hadoop集群上进行运行。这里打包的jar包名为wc.jar。
先把文件上传到linux目录,然后在该目录下使用指令将该jar分发到hadoop集群中并指定运行哪一个程序。
hadoop jar wc.jar cn.intsmaze.hadoop.mr.WCRunner(指定运行java类的完整路径)这个时候程序就执行了。
2:在linux的eclipse中直接运行main方法,也可以提交到集群中去运行,但是,必须采取以下措施:
----在工程src目录下加入 mapred-site.xml 和 yarn-site.xml (这两个文件在搭建hdfs时修改了的见hdfs文件夹下的搭建日志)
----将工程打成jar包(wc.jar),同时在main方法中添加一个conf的配置参数
Configuration conf = new Configuration();
conf.set("mapreduce.job.jar","wc.jar");
JAR包的位置要在运行程序的工程里面。
3:在windows的eclipse中直接运行main方法,也可以提交给集群中运行,但是因为平台不兼容,需要做很多的设置修改(很麻烦忽略)
----要在windows中存放一份hadoop的安装包(解压好的)
----要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
----再要配置系统环境变量 HADOOP_HOME 和 PATH
----修改YarnRunner这个类的源码
最新文章
- [转]Asp.Net Core 简单的使用加密的Cookie保存用户状态
- 初步了解CPU
- iOS开发之功能模块--关于自定义TabBar条
- 输入参数是NSDate,输出结果是星期几的字符串
- 【LeetCode OJ】Path Sum II
- XMLHelper.cs
- emberjs创建类
- ubuntu下解压zip文件乱码
- Codeforces Round #121 (Div. 2)
- BitMask 使用参考
- (转载)C++lambda表达式
- cat ,more, Less区别
- 转:what is TWO_TASK
- HTML5 Shiv – 让该死的IE系列支持HTML5吧(转)
- Android 使用monkey自动测试
- Redis:在windows环境安装Redis
- Python2.7 xlwt安装 No module named future.builtins
- python 输出语句的写法
- BZOJ 2683: 简单题 [CDQ分治]
- SpringMVC概述
热门文章
- 基于JQuery的浮动DIV显示提示信息并自动隐藏
- easyui 数据库修改部分(基于数据添加逻辑功能修改)
- MVC4做网站后台:用户管理 ——用户组 2、查看、修改、删除用户组
- Android开发输入法遮盖屏幕底部按钮
- Android okHttp网络请求之Retrofit+Okhttp+RxJava组合
- Android随笔之——获取EditText光标所在行行号
- 分析MariaDB初始化脚本mysql_install_db
- ASP.NET 5 单元测试中使用依赖注入
- IOS-Foundation框架结构
- ZOJ Problem Set - 1402 Magnificent Meatballs