hadoop 一些命令
关闭访问墙 service iptables stop
hadoop dfs -mkdir input
hadoop dfs -copyFromLocal conf/* input
hadoop jar hadoop-examples-1.2.1.jar wordcount input output
bin/hadoop dfs -cat output/*
/usr/local/src/hadoop-1.2.1/bin/hadoop jar /usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar -file map.py -mapper map.py -file reduce.py -reducer reduce.py -input input/src.txt -output /output
HADOOP_CMD="/usr/local/src/hadoop-1.2.1/bin/hadoop"
STREAM_JAR_PATH="/usr/local/src/hadoop-1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar"
INPUT_FILE_PATH="/input/src.txt"
OUTPUT_PATH="/output"
$HADOOP_CMD fs -rmr $OUTPUT_PATH
$HADOOP_CMD jar $STREAM_JAR_PATH \
-input $INPUT_FILE_PATH \
-output $OUTPUT_PATH \
-mapper "python map.py" \
-reducer "python reduce.py"\
-file map.py \
-file reduce.py
最新文章
- Python3.5在Windows 7下连接ORACLE数据库
- github page 构建自己的页面
- GL_Oracle Erp月结和年节流程讨论(概念)
- ADOMD连接SSAS和Mondrian,rex的终结者
- 3. 戏说VHDL之入门游戏一:流水灯
- chrome扩展——Postman
- mysql 导入excel 或 .csv
- Hyper-v 安装CentOS
- Flask web开发 处理POST请求(登录案例)
- 用C写一个web服务器(一) 基础功能
- windows环境下curl 安装和使用
- 洛谷:P1036:选数
- MongoDB——待整理
- Linux记录-linux系统监控命令汇总
- markdown 语法小结
- 前端项目添加自定义icont图标步骤
- java中常用jar包
- POJ 2356 Find a multiple 抽屉原理
- Android UI-仿微信底部导航栏布局
- 001-搭建spring boot项目
热门文章
- GSAP 官方文档(结贴)
- Android 按Menu弹出菜单
- 【BZOJ1135】[POI2009]Lyz 线段树
- 利用jsPerf优化Web应用的性能
- rabbitmq 用户管理
- [ Office 365 开发系列 ] 身份认证
- Exception in thread ";main"; java.lang.IllegalArgumentException: System memory 202768384 must be at least 4.718592E8. Please use a larger heap size.
- cocoapod 最新安装使用步骤
- 解决kindeidtor与struts2框架交互WARN OgnlValueStack:68 - Error setting value [[Ljava.lang.String;@10da4df]的bug
- Favorite Donut--hdu5442(2015年长春网选赛,kmp,最大表示法)