hibench 对CDH5.13.1进行基准测试(测试项目hadoop\spark\)HDFS作HA高可靠性
使用CDH 5.13.1部署了HADOOP集群之后,需要进行基准性能测试。
一、hibench 安装
1.安装位置要求。
因为是全量安装,其中有SPARK的测试(SPARK2.0)。
安装位置在SPARK 服务所在的节点上面。
下载hibench编译好的包与manve的包
hibench全部编译
mvn -Dspark=2.1 -Dscala=2.11 clean package
注:hibench目录中运行
编译好的包,可以在整个集群通用。直接 复制环境变量与安装目录
2.配置环境变量
export JAVA_HOME=/usr/java/jdk1.8.0_151
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export M2_HOME=/home/maven
export PATH=$PATH:$M2_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin
3.权限配置
hibench 全部为777
执行 run_all.sh时为hdfs用户
/dev/stderr为777
每台机器安装 bc
4.配置文件说明
[root@cdhtest2 conf]# cat hadoop.conf
# Hadoop home
hibench.hadoop.home /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/lib/hadoop
# The path of hadoop executable
hibench.hadoop.executable /opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/bin/hadoop
# Hadoop configraution directory
hibench.hadoop.configure.dir /etc/hadoop/conf
# The root HDFS path to store HiBench data
hibench.hdfs.master hdfs://nameservice1
# Hadoop release provider. Supported value: apache, cdh5, hdp
hibench.hadoop.release cdh5
spark.conf
# Spark home
hibench.spark.home /opt/cloudera/parcels/SPARK2/lib/spark2
# Spark master
# standalone mode: spark://xxx:7077
# YARN mode: yarn-client
hibench.spark.master yarn-client
# executor number and cores when running on Yarn
hibench.yarn.executor.num 1
hibench.yarn.executor.cores 2
# executor and driver memory in standalone & YARN mode
spark.executor.memory 1g
spark.driver.memory 1g
注:
# executor number and cores when running on Yarn
hibench.yarn.executor.num 1
hibench.yarn.executor.cores 2
# executor and driver memory in standalone & YARN mode
spark.executor.memory 1g
spark.driver.memory 1g
按实际机器配置修改。
hibench.conf
hibench.masters.hostnames cdhtest2
hibench.slaves.hostnames cdhtest1
RM 服务的主机名
bin/run_all.sh
报表查看:
hibench根目录下面hibench.report
建议使用Excel 打开,分隔符是空格。
最新文章
- dedecms 文章页图片改为绝对路径
- 阻止事件冒泡,阻止默认事件,event.stopPropagation()和event.preventDefault(),return fal的区别
- S3C6410开发板开发环境的搭建
- docker summary
- rqnoj-342-最不听话的机器人-dp
- Codeforces Round #373 (Div. 2) B
- entity framework 查询
- 对PostgreSQL xmax的理解
- Nginx【第一篇】安装
- js高程 第 4章 变量、作用域和内存问题 【笔记】
- 库函数 Math
- Python3.5入门学习记录-File
- C# MVC 自学笔记—4 添加视图
- 30第二建筑Github Page
- JSON解析之Gson
- 创建,删除DOM
- WKWebView--JS调用OC的方法
- android 加载图片oom若干方案小结
- HTML中<;base>;标签的正确使用
- Linux基本命令总结(五)
热门文章
- [bcc32 Error] typeinfo.h(154): E2367 Can&#39;t inherit RTTI class from non-RTTI base &#39;exception&#39;
- J2SE 8的流库 --- 转换流, 得到的还是流
- 机器学习进阶-图像基本操作-图像数据读取 1.cv2.imread(图片读入) 2.cv2.imshow(图片展示) 3.cv2.waitKey(图片停留的时间) 4.cv2.destroyAllWindows(清除所有的方框界面) 5.cv2.imwrite(对图片进行保存)
- day06-三元表达式
- Zookpeer集群节点
- jquery初级接触-----链式操作
- delphi异常捕获try except语句 和 try finally语句用法
- python语言中的数据类型
- Shell编程:小白初步
- UGUI的text赋值问题-速度