使用COSBench工具对ceph s3接口进行压力测试--续
之前写的使用COSBench工具对ceph s3接口进行压力测试是入门,在实际使用是,配置内容各不一样,下面列出
压力脚本是xml格式的,套用UserGuide文档说明,如下
有很多模板的例子,在conf目录下,如librados-config-sample.xml、s3-config-sample.xml
这里只有s3的,所以目前只关注s3的相关配置
S3的配置在页面上选择时没有显示出来,所以我们就进行手工配置
第一级workload,格式如下:
<workload name=”demo” description=”demo benchmark with mock storage” />
属性 |
类型 |
默认值 |
备注 |
Name |
String |
名字,随便取 |
|
Descriptipion |
String |
描述 |
对应s3就用storage参数,格式如下:
<storage type="s3" config="accesskey=<accesskey>;secretkey=<scretkey>;endpoint=<endpoint>; proxyhost=<proxyhost>;proxyport=<proxyport>" />
属性 |
类型 |
默认值 |
备注 |
Timeout |
Int |
30,000 |
毫秒 |
Accesskey |
String |
S3 的accesskey |
|
Secretkey |
String |
S3的secretkey |
|
Endpoint |
String |
默认为亚马逊地址 |
|
Proxyhost |
String |
代理地址 |
|
Proxyport |
Int |
代理端口 |
第二级workstorage,格式如下
<workstage name="<name>" ></workstage>
属性 |
类型 |
默认值 |
备注 |
Name |
String |
名字,随便取 |
对应使用work参数,格式如下
<work name="main" type="normal" workers="128" interval="5" division="none" runtime="60" rampup="0" rampdown="0" totalOps="0" totalBytes="0" afr=”200000” config="" > . . . </work>
属性 |
类型 |
默认值 |
备注 |
Name |
String |
名字,随便取 |
|
Type |
String |
“normal” |
工作类型,下面有介绍 |
Workers |
Int |
并发工作数 |
|
Interval |
Int |
5 |
间隔时间 |
Division |
Str |
“none” |
划分数据方式,为container时,通过bucket划分数据,为ojbect,以对像数据划分数据,”none”时,所以的bucket都 有ojbect数据 |
Runtime |
Int |
0 |
运行时长 |
Rampup |
Int |
0 |
多长时间启动完所有的压力 |
Rampdown |
Int |
0 |
结束数,不能与runtime同时配 |
totalOps |
Int |
0 |
操作数 |
totalBytes |
Int |
0 |
多大bytes将传输 |
Driver |
Str |
哪个driver将执行工作,默认的话,所有的drivers将参与工作,平分 |
|
Afr |
Int |
200,000 – normal 0 – special work |
可接受错误速率,毫秒级别 |
Work type支持
init(创建bucket)
格式<work type=”init” workers=”4” config=”containers=r(1,100)” />
参数 |
类型 |
默认值 |
说明 |
Containers |
String |
Bucket选项表达式,比如c(1),r(1,100) |
|
Cprefix |
String |
Mycontainers_ |
Bucket前缀 |
Csuffix |
String |
<null> |
后缀 |
prepare(在bucket中插入特定的对像)
格式
<work type=”perpare” work=”4” config=”containers-=r(1,10);objects=r(1,100);sizes=c(64)KB”/>
参数 |
类型 |
默认值 |
说明 |
Containers |
String |
Bucket选项表达式,比如c(1),r(1,100) |
|
Cprefix |
String |
Mycontainers_ |
Bucket前缀 |
Csuffix |
String |
<null> |
后缀 |
Ojbects |
String |
Object选择表达式,如c(1),u(1,100) |
|
Oprefix |
String |
Myobjects_ |
对像前缀 |
Osuffix |
String |
<null> |
对像后缀 |
Sizes |
String |
大小,单位可以为(B/KB/MG/GB) |
|
Chuncked |
Boolean |
False |
校验上传的数据 |
Content |
String |
“random”(默认) “zero” |
上传数据内容,默认为随机字符号 |
Createcontainer |
Boolean |
False |
如果bucket不存在就创建对赢的bucket |
hashCheck |
Boolean |
False |
Hash检查 |
Cleanup(删除文件)
格式:<work type=”cleanup” workers=”4” config=”containers=r(1,5)”;objects=r(1,100)” />
参数 |
类型 |
默认值 |
说明 |
Containers |
String |
Bucket选项表达式,比如c(1),r(1,100) |
|
Cprefix |
String |
Mycontainers_ |
Bucket前缀 |
Csuffix |
String |
<null> |
后缀 |
Ojbects |
String |
Object选择表达式,如c(1),u(1,100) |
|
Oprefix |
String |
Myobjects_ |
对像前缀 |
Osuffix |
String |
<null> |
对像后缀 |
Deletecontainer |
Boolean |
False |
存在相关的bucket则删除bucket |
Dispolse(删除bucket)
格式 <work type=”dispose” workers=”4” config=”containers=r(1,100)” />
参数 |
类型 |
默认值 |
说明 |
Containers |
String |
Bucket选项表达式,比如c(1),r(1,100) |
|
Cprefix |
String |
Mycontainers_ |
Bucket前缀 |
Csuffix |
String |
<null> |
后缀 |
Delay(延迟)
用的少,不写了
Operation支持:
格式<operation type=”read|write|delete” ratio=”<1-100> config=”<key>=<value>;….” />
参数 |
类型 |
默认值 |
说明 |
Type |
String |
操作类型,只有read write delete list |
|
Ratio |
Int |
比例 |
|
Division |
Int |
||
Config |
String |
参数列表 |
read
格式<operation type=”read” ratio=”79” config=”containers=c(1);objects=u(1,100)” />
参数 |
类型 |
默认值 |
说明 |
Containers |
String |
Bucket选项表达式,比如c(1),r(1,100) |
|
Cprefix |
String |
Mycontainers_ |
Bucket前缀 |
Csuffix |
String |
<null> |
后缀 |
Ojbects |
String |
对像表达式如u(1,100) |
|
Oprefix |
String |
Myobjects_ |
对像前缀 |
Osuffix |
String |
<null> |
对像后缀 |
Hascheck |
Boolean |
False |
是否校验 |
write
格式:
<operation type=”write” ratio=”20” config=”containers=c(2);objects=u(1,10);size=c(2)MB”/>
参数 |
类型 |
默认值 |
说明 |
Containers |
String |
Bucket选项表达式,比如c(1),r(1,100) |
|
Cprefix |
String |
Mycontainers_ |
Bucket前缀 |
Csuffix |
String |
<null> |
后缀 |
objects |
String |
对像表达式如u(1,100) |
|
Oprefix |
String |
Myobjects_ |
对像前缀 |
Osuffix |
String |
<null> |
对像后缀 |
Sizes |
String |
大小 |
|
Chunked |
Boolean |
False |
上传数据是否分片 |
Content |
String |
“radom”(默认值) “zero” |
默认是随机字符填充 |
Hascheck |
Boolean |
False |
是否校验 |
filewrite(文件上传)
格式:
<operation type=”filewrite” ratio=”20” config=”containers=c(2);fileselection=s;files=/tmp”/>
参数 |
类型 |
默认值 |
说明 |
Containers |
String |
Bucket选项表达式,比如c(1),r(1,100) |
|
Cprefix |
String |
Mycontainers_ |
Bucket前缀 |
Csuffix |
String |
<null> |
后缀 |
Fileselection |
String |
上传文件选择方式,如s |
|
Files |
String |
目录 |
|
Chunked |
Boolean |
False |
上传数据是否分片 |
Hascheck |
Boolean |
False |
是否校验 |
delete
格式<operation type=”delete” ratio=”10” config=”containers=c(2);ojbects=u(1,100)” />
参数 |
类型 |
默认值 |
说明 |
Containers |
String |
Bucket选项表达式,比如c(1),r(1,100) |
|
Cprefix |
String |
Mycontainers_ |
Bucket前缀 |
Csuffix |
String |
<null> |
后缀 |
objects |
String |
对像表达式如u(1,100) |
|
Oprefix |
String |
Myobjects_ |
对像前缀 |
Osuffix |
String |
<null> |
对像后缀 |
list(用的少)
在填写参数时,还需要注意各种选择器的使用,如下
Expression |
格式 |
备注 |
Constant(不变的) |
C(number) |
固定在一个数值 |
Uniform(随机) |
U(min,max) |
从[min,max]中随机选择一个数 |
Range |
R(min,max) |
同python里的range函数 更常用在(init,prepare,cleanup,dispose)里,不建议用在operation |
sequential |
S(min,max) |
也是增加函数,常用于operation操作中 |
Histogram |
H(min1|max1|weight1,…..) |
用在文件大小的不同比重中,实际使用少,不解释 |
常见的xml:
初始化bucket,将会创建二个bucket
<?xml version="1.0" encoding="UTF-8" ?>
- <workload name="initBucket" description="sample benchmark for s3">
<storage type="s3" config="accesskey=V02TU7BTTHYSVINSRB7P;secretkey=b2u6ZgiNVlnfsDUpBigEbZKX9Na7kvM7UWEMrtPN;endpoint=http://xxx.xxx.xxx/" />
- <workflow>
- <workstage name="init_create_bucket">
<work type="init" workers="1" config="cprefix=test;containers=r(1,2)" />
</workstage>
</workflow>
</workload>
上传特定大小的文件
在test1 bucket中上传100个4M的文件,并发25
<?xml version="1.0" encoding="UTF-8" ?>
- <workload name="put-100Workers-4MB" description="sample benchmark for s3">
<storage type="s3" config="accesskey=V02TU7BTTHYSVINSRB7P;secretkey=b2u6ZgiNVlnfsDUpBigEbZKX9Na7kvM7UWEMrtPN;endpoint=http://xxx.xxx.xxx.xxx/" />
- <workflow>
- <workstage name="put 4MB data with 100 workers">
- <work name="Put64KBData1" workers="25" totalOps="200" driver="sv40">
<operation type="write" ratio="100" config="cprefix=test;oprefix=100wks_64k;containers=c(1);objects=s(1,100);sizes=c(4)MB" />
</work>
</workstage>
</workflow>
</workload>
读写1:1
<?xml version="1.0" encoding="UTF-8" ?>
- <workload name="read&write" description="sample benchmark for s3">
<storage type="s3" config="accesskey=7FRWOW451AM5N1BDGWG6;secretkey=Xb9YEC5ia4KbCR1M7fZgR67RFXi1ARPrOfxa9Bjx;endpoint=http://xxx.xxx.xx.xx/" />
- <workflow>
- <workstage name="read &write">
- <work name="read write" workers="25" totalOps="100">
<operation type="write" ratio="50" config="cprefix=test;oprefix=100wks_64k;containers=c(1);objects=s(1,10);sizes=c(50)KB" />
<operation type="read" ratio="50" config="cprefix=test-;oprefix=100wks_64kr;containers=c(1);objects=s(1,10);sizes=c(50)KB" />
</work>
</workstage>
</workflow>
</workload>
最新文章
- JQuery,C#,sqlServer 实现无极限多级树形控件
- UI第七节——UISlider详解
- Android Studio 自定义debug签名文件keystore
- (转载)python2+selenium自动化测试系列(一)
- OpenGL 学习
- POJ 1904 HDU 4685
- 数据挖掘10大算法(1)——PageRank
- Fedora 下 安装 chrome
- WinSCP列出&rsquo;/&rsquo;目录项出错
- cf E. Neatness
- iotop
- git-daemon的快捷搭建
- Struts2 拦截器—拦截action
- CF #271 F Ant colony 树
- springBoot系列教程03:redis的集成及使用
- sqlserver 判断字段是否为空字符串或者null
- 巧用border制作箭头
- Linux系统CPU相关信息查询
- windows下编译php7图形库php_ui.dll
- 【强化学习】python 实现 q-learning 迷宫通用模板
热门文章
- MBProgressHUD 第三方库使用
- 获取 SharpSvn 执行 svn 操作的实时日志
- 【spark】with mongodb
- redhat enterprise edition 6.8:禁止ipv6后,nfs文件系统无法挂载:no such device
- php解析mpp文件
- org.apache.http.client.methods.HttpGet 转到定义找不到源代码
- spring核心之AOP学习总结一
- application/x-www-form-urlencoded 的contentType,POST数据内容过大,导致tomcat的request取不到参数
- java TreeNode接口
- openvpn记住用户名和密码,自动连接