HBase0.94.2-cdh4.2.0需求评估测试报告1.0之二
Hbase 配置文件:
hbase-site.xml
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://cdh-master:9000/hbase</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>cdh-master,cdh-node1,cdh-node2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/var/lib/zookeeper</value>
</property>
<property>
<name>hbase.master</name>
<value>172.168.10.251:60000</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.hregion.majorcompaction</name>
<value>0</value>
</property>
<property>
<name>hbase.hregion.max.filesize</name>
<value>10485760000</value>
</property>
<property>
<name>hbase.hregion.memstore.flush.size</name>
<value>104857600</value>
</property>
<property>
<name>hbase.regionserver.regionSplitLimit</name>
<value>1</value>
</property>
<property>
<name>hbase.hstore.compaction.max</name>
<value>10</value>
</property>
<property>
<name>hbase.hstore.blockingStoreFiles</name>
<value>3</value>
</property>
<property>
<name>hbase.hstore.compaction.max.size</name>
<value>1048576000</value>
</property>
</configuration>
1.1 测试方法(和工具)
测试工具:hadoop jar /usr/lib/hbase/hbase-0.94.2-cdh4.2.0-security.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,t:v01 tbs /user/hac/input/$filedir (/user/hac/input目录下的tsv文件导入hbase数据库)
测试命令:
./genData.py -p $prephone -m $filesize -f $filename (产生顺序row id的tsv导入文件,值为1K)
./randData.py -p $prephone -m $filesize -f $filename -s $regionmax(产生随机row id的tsv导入文件,值为1K)
2 测试过程
2.1 测试方案
2.1.1 测试目标
l 测试HBase的flush事件
l 测试HBase的compact事件
l 测试HBase的高可用性
2.1.2 测试过程
将测试过程分为两组进行:
第一组:hbase shell创建表,一个列,一个分区,在本地/root文件夹中创建指定大小tsv格式文件,文件内容第一列值是顺序的,例如:13100000001、13100000002、13100000003,并上传到HDFS文件系统/user/hac/input文件夹中,然后导入到hbase数据库。
第二组:hbase shell创建表,一个列,四个分区,在本地/root文件夹中创建指定大小tsv格式文件,文件内容第一列值是随机的,例如:13100803005、13101437328、13101391705,并上传到HDFS文件系统/user/hac/input文件夹中,然后导入到hbase数据库。
最新文章
- 深入理解CSS定位中的堆叠z-index
- 优秀的API接口设计原则及方法(转)
- jquery闭包的使用
- socket模拟通信实现ARQ停止等待协议
- bootstrap validator 使用 带代码
- [论文阅读]Going deeper with convolutions(GoogLeNet)
- 【Linux系统目录结构】
- MapReduce中,new Text()引发的写入HDFS的输出文件多一列的问题
- c++ 多态,虚函数、重载函数、模版函数
- angularJS1笔记-(14)-自定义指令(scope)
- 如何获取隔壁wifi密码,非暴力破解
- 【转载】hibernate缓存机制
- okhttp3使用详解
- 第三天-零基础学习python
- Bzoj 3498 Cakes(三元环)
- django中根据模型生成页面的脚手架app-groundwork
- SSH 项目建立过程
- Chromium之工程依赖关系.
- IO流分类详细介绍和各种字节流类介绍与使用 过滤流 字节流
- $git学习总结系列(1)——基本用法