先放上命令：

hadoop jar /usr/hadoop-1.2./contrib/streaming/hadoop-streaming-1.2..jar -mapper mapper.py -file mapper.py -reduce reduce.py -file reduce.py -file params.txt -file params2.txt -input /data/* -output /output

其中output不存在才可以。

mapper.py的输出直接传给reduce.py

比如在hadoop的集群中，/data/目录下有如下几个文件：

[root@master program]# hadoop fs -ls /data/

Found  items

-rw-r--r--    root supergroup       -- : /data/cars-

-rw-r--r--    root supergroup       -- : /data/cars-

-rw-r--r--    root supergroup       -- : /data/cars-

-rw-r--r--    root supergroup       -- : /data/cars-

-rw-r--r--    root supergroup       -- : /data/cars-

-rw-r--r--    root supergroup       -- : /data/cars-

-rw-r--r--    root supergroup       -- : /data/cars-

-rw-r--r--    root supergroup       -- : /data/cars-

-rw-r--r--    root supergroup       -- : /data/cars-

-rw-r--r--    root supergroup       -- : /data/cars-

对于任何一个文件，如果在本地可以这样完成操作即可：

cat cars- | ./mapper.py | ./reduce.py

最新文章

  1. 时间格式转换—将后台返回的/Date(1448954018000)/格式转换为正常的时间格式
  2. goprotocbuf的安装和使用
  3. Verilog学习笔记设计和验证篇(四)...............状态机的置位与复位
  4. Java读写文件通用格式
  5. WordPress博客搬家注意事项
  6. Java 并发：Executors 和线程池
  7. homework01
  8. Android添加标题进度条
  9. Eclipse安装Vim——viPlugin插件
  10. 22.Linux-块设备驱动之框架详细分析(详解)
  11. win7与centos虚拟机的共享文件夹创建
  12. 折腾Java设计模式之解释器模式
  13. mysql,jdbc、连接池
  14. Activity的介绍
  15. Mac os下android studio模拟器无法联网解决方法
  16. Entry point (0x08000000) points to a Thumb instruction but is not a valid Thumb code pointer.
  17. BZOJ3779 : 重组病毒
  18. vue2.0+element-ui(01简单点的单页面)
  19. class []的用法
  20. JAVA , TOMCAT , AXIS2 环境变量配置

热门文章

  1. max number of threads [1024] for user [lish] likely too low, increase to at least [2048]
  2. CLR via C#（12）-委托Delegate
  3. C#的正则表达式
  4. 【PHP数组的使用】
  5. react.js 多个组件集成示例
  6. 【openGL】画五角星
  7. 使用RMAN DUPLICATE...FROM ACTIVE DATABASE创建物理standby database
  8. Eclipse的详细安装步骤
  9. 数字信号处理实验（五）——IIR滤波器的设计
  10. 【SSH】 之 Struts2环境搭建及简单应用开发