Hadoop 基准测试与example
2024-09-21 22:49:04
#pi值示例
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar pi 20 200
#生成数据 第一个参数是行数 第二个参数是位置
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar teragen 1000000 /teradata
#指定了使用的map数,默认是2个
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar teragen -Dmapred.map.tasks=10 1000000 /terasort
#测试排序的功能
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar terasort /teradata /terasortout
#测试HDFS 写文件基准测试
hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-client-jobclient-2.3.0-cdh5.0.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 100
现在使用的这个版本是hadoop-2.3cdh5.0.2
在执行任务的时候,发现nodemanager里面有很多container明明是成功完成的,但是在前面还是会产生类似container被appmaster killed , exit with non zero code 143
这样的日志,让我非常疑惑,在web ui的页面也是能看到这样的,但整个任务跑完之后在web页面就看不到了。
后来在网上搜索,发现这是yarn的一个bug.
关于如何打补丁的学习,使用patch命令打补丁,patch需要安装。
然后重新编译模块,然后替换相关的jar包即可。
最新文章
- spring异常-aoperror at :0 formal unbound in pointcut
- Winform读写App.config文件以及重启程序
- Sender
- IO多路复用及ThreadingTCPServer源码阅读
- 头文件algorithm中的常用函数
- android-WebView
- window下乌龟git安装和使用
- eclipse 恢复SVN无法还原的文件 svn使用了还原,但本地的没有提交找回没提交代码的方法
- 标准简单SP模板(oracle)
- 实时消息传输协议 RTMP(Real Time Messaging Protocol)
- Jenkins实现简单的CI功能
- 末学者笔记--Linux计划任务及压缩归档
- 使用shell安装lnmp
- Linux 学习笔记 1
- .net core IIS/Kestrel上传大文件的解决方法
- Redis常用操作-------List(列表)
- Extmail 批量添加邮箱用户
- 在eclipse激活maven profile配置
- 二分法php
- springaop---->;springaop的使用(一)
热门文章
- Play 中如何使用 Ajax
- 高性能javascript学习笔记系列(1) -js的加载和执行
- div水平居中
- 浅析字符串操作方法slice、substr、substring及其IE兼容性
- ORA-03113解决方法
- yii 项目根目录下需要有assets目录
- System.currentTimeMillis()与SystemClock.uptimeMillis()
- iOS关于启动页自定义特殊处理
- iOS 学习 - 10下载(3) NSURLSession 音乐 篇
- RDVTabBarController的基本使用 以及tabbar的防止双点击方法