MR任务默认配置:

job.setMapperClass() Mapper Mapper将输入的<key,value>对原封不动地作为中间结果输出
job.setMapperOutputKeyClass() 与map结果的k类型一致 设置中间结果的key的类型
job.setMapperOutputValueClass() 与map结果的v类型一致 设置中间结果的value的类型
job.setReducerClass() Reducer Reducer将中间结果直接输出为最终结果。
job.setOutputKeyClass() LongWriteable \
job.setOutputValueClass() Text \
job.setInputFormatClass() TextInputFormat 文本文件将文本文件的多行分成splits,并通过LineRecorderReader,将其中的每一行解析成<key,value>对
job.setOutputFormatClass() TextOutputFormat TextOutputFormat将最终结果写成纯文本文件,每行一个<key,value>对,key和value之间用制表符分隔开来
job.setCombinerClass() null 不合并中间结果
job.setPartitionerClass() HashPartitioner HashPartitioner使用哈希函数完成Shuffle过程

最新文章

  1. mysql数据引擎的概念介绍
  2. Android 计算器界面
  3. java编程思想
  4. Java 中Timer和TimerTask 定时器和定时任务使用的例子
  5. 引用Excel时 未在本地计算机上注册ace.oledb.12.0
  6. 收集整理的非常有用的PHP函数
  7. CodeForces 660B Seating On Bus
  8. P1137 旅行计划-----洛谷
  9. 用json方法来作深拷贝应该知道的一点东西!
  10. 『Lucas定理以及拓展Lucas』
  11. MYSQL可调用执行自定义SQL的代码
  12. todos+增删改查+js练习
  13. Jquery中attr()与prop()的区别
  14. Confluence 6 服务器的许可证信息
  15. python unittest套件,修改为失败重新执行
  16. CSS选择器之兄弟选择器(~和+)
  17. BestCoder Round #27
  18. 修改机器名、IP对arcgis server、portal的影响?
  19. google tensorflow bert代码分析
  20. JavaScript 执行环境 与 变量对象

热门文章

  1. Faster R-CNN利用新的网络结构来训练
  2. instanceof和isInstance(Object obj) 和isAssignableFrom(Class cls)的区别和联系
  3. 【Python算法】列表中的 append 比 insert 效率高的实质
  4. python将图片转base64,前端显示
  5. java容器的线程安全性
  6. flannel源码分析---初始化部分
  7. javascript把RGB指定颜色转换成十六进制颜色(Converting R,G,B values to HTML hex notation)
  8. Java读写.properties文件实例,解决中文乱码问题
  9. MySQL数据库Date型数据插入问题
  10. Django——认证系统(Day72)