MapReduce单机提交（待稿）

MR 提交方式
源码

提交方式：
1，开发-> jar -> 上传到集群中的某一个节点 -> hadoop jar ooxx.jar ooxx in out
2，嵌入【linux，windows】（非hadoop jar）的集群方式 on yarn
集群：M、R
client -> RM -> AppMaster
mapreduce.framework.name -> yarn //决定了集群运行
conf.set("mapreduce.app-submission.cross-platform","true");
job.setJar("C:\\Users\\Administrator\\IdeaProjects\\msbhadoop\\target\\hadoop-hdfs-1.0-0.1.jar");
//^推送jar包到hdfs
3，local，单机自测
mapreduce.framework.name -> local
conf.set("mapreduce.app-submission.cross-platform","true"); //windows上必须配
1，在win的系统中部署我们的hadoop：
C:\usr\hadoop-2.6.5\hadoop-2.6.5
2，在我给你的资料中\hadoop-install\soft\bin 文件覆盖到你部署的bin目录下
还要将hadoop.dll 复制到 c:\windwos\system32\
3，设置环境变量：HADOOP_HOME C:\usr\hadoop-2.6.5\hadoop-2.6.5

IDE -> 集成开发：
hadoop最好的平台是linux
部署hadoop，bin

参数个性化：
GenericOptionsParser parser = new GenericOptionsParser(conf, args); //工具类帮我们把-D 等等的属性直接set到conf，会留下commandOptions
String[] othargs = parser.getRemainingArgs();

巴特西

MapReduce单机提交（待稿）

最新文章

热门文章