tpcc-mysql 实践

一、TPCC 介绍

TPC:
全称Transaction Processing Performance Council （事务处理性能委员会），是一家非盈利性组织，该组织制定各种商业应用的基准测试规范，任意厂商和个人，都可以按照其规范来开发自己的应用程序。
TPC-C:
是由 TPC 推出的一套基准测试程序，主要用于联机事务类应用的测试，最后的字母 C 是序号，因为在他之前有 TPC-A 和 TPC-B。使用的比较多的是 TPC-C，因为 TPCC 是套基准。
TPC-C 是专门针对联机交易处理系统（OLTP 系统）的规范，一般情况下我们也把这类系统称为业务处理系统
TPC-C 使用三种性能和价格度量，其中性能由 tpmC（transactions per minute，tpm）衡量，Cpm）衡量，C 指 TPC 中的 C 基准程序。它的定义是每分钟内系统处理的新订单个数。TPC-C 还经常以系统性能价格比的方式体现，单位是$/tpmC，即以系统的总价格（单位是美元）/tpmC 数值得出
TPCC-MYSQL:
由 Percona 基于 TPCC 规范开发的一套 mysql 基准测试程序。
测试指标:
TPC-C 测试的结果主要有两个指标，即流量指标（Throughput,简称 tpmC)。
流量指标(Throughput,简称 tpmC)：按照 TPC 组织的定义，流量指标描述了系统在执行支付操作、订单状态查询、发货和库存状态查询这 4 种交易的同时，每分钟可以处理多少个新订单交易。所有交易的响应时间必须满足 TPC-C 测试规范的要求，且各种交易数量所占的比例也应该满足 TPC-C 测试规范的要求。在这种情况下，流量指标值越大说明系统的联机事务处理能力越高。

二、tpcc-mysql 安装

1.安装 bzr

# yum install bzr -y

2.下载 tpcc-mysql

# cd ~

# bzr branch lp:~percona-dev/perconatools/tpcc-mysql

下载完成后，当前目录下会有 tpcc-mysql 目录

3.编译安装 tpcc-mysql

# cd ~/tpcc-mysql/src/

# make

如果没有报错，tpcc-mysql 就安装完成了。
安装完成后会生成两个可执行文件：
tpcc_load：用于初始化数据。
tpcc_start：用于执行基准测试。

三、tpcc-mysql 使用

一般分为下面 4 个步骤：
创建数据和表结构
加载数据
执行测试
测试结果解读分析

1.创建表和索引

创建库：

# mysql -uroot -p123123 -h127.0.0.1 -e "create database tpcc;"

创建表结构：

# mysql -uroot -p123123 -h127.0.0.1 tpcc < ~/tpcc-mysql/create_table.sql

创建索引：

# mysql -uroot -p123123 -h127.0.0.1 tpcc < ~/tpcc-mysql/add_fkey_idx.sql

表的介绍：

# mysql -uroot -p123123 -h127.0.0.1 -e "show tables from tpcc;"

+----------------+

| Tables_in_tpcc |

+----------------+

| customer       |    #用户表

| district       |    #分布表

| history        |    #历史记录表

| item           |    #订单详情表

| new_orders     |    #新订单表

| order_line     |

| orders         |    #商品表

| stock          |

| warehouse      |    #仓库相关表

+----------------+

2.初始化数据

先看看 tpcc_load 的用法吧

# ./tpcc_load -h

*************************************

*** ###easy### TPC-C Data Loader  ***

*************************************

 usage: tpcc_load [server] [DB] [user] [pass] [warehouse]

      OR

        tpcc_load [server] [DB] [user] [pass] [warehouse] [part] [min_wh] [max_wh]

           * [part]: 1=ITEMS 2=WAREHOUSE 3=CUSTOMER 4=ORDERS

参数含义：
server：数据库 IP
DB：数据库名称
user：用户名
pass：密码
warehouse：仓库数量
执行下面的命令开始初始化数据：（仓库数我选择了 10 个）

# ./tpcc_load 127.0.0.1 tpcc root 123123 10

初始化成功最后会输出：

...DATA LOADING COMPLETED SUCCESSFULLY.

3.开始测试：

# ./tpcc_start --help

***************************************

*** ###easy### TPC-C Load Generator ***

***************************************

./tpcc_start: invalid option -- '-'

Usage: tpcc_start -h server_host -P port -d database_name -u mysql_user -p mysql_password -w warehouses -c connections -r warmup_time -l running_time -i report_interval -f report_file -t trx_file

参数含义：
-w warehouses ：仓库数量
-c connections：并发线程数
-r warmup_time：指定预热时间，以秒为单位，默认是 10 秒，主要目的是为了将数据加载到内存。
-l running_time：指定测试执行的时间，以秒为单位，默认是 20 秒。
-i report_interval：指定生成报告的间隔时间。
-f report_file：将测试中各项操作的记录输出到指定文件内保存。
-t trx_file：输出更详细的操作信息到指定文件内保存。

执行下面的命令：

真实测试场景中，建议预热时间不小于 5 分钟，持续压测时长不小于 30 分钟，否则测试数据可能不具参考意义。

# ~/tpcc-mysql/tpcc_start -h 127.0.0.1 -d tpcc -u root -p 123123 -w 10 -c 10 -r 120 -l 300 -f /tmp/tpcc_mysql.log -t /tmp/tpcc_mysql.rtx

输出结果如下：

 ***************************************

 *** ###easy### TPC-C Load Generator ***

 ***************************************

 option h with value '127.0.0.1'

 option d with value 'tpcc'

 option u with value 'root'

 option p with value '123123'

 option w with value '10'

 option c with value '10'

 option r with value '120'

 option l with value '300'

 option f with value '/tmp/tpcc_mysql.log'

 option t with value '/tmp/tpcc_mysql.rtx'

 <Parameters>

      [server]: 127.0.0.1

      [port]: 3306

      [DBname]: tpcc

        [user]: root

        [pass]: 123123

   [warehouse]: 10

  [connection]: 10

      [rampup]: 120 (sec.)

     [measure]: 300 (sec.)

 RAMP-UP TIME.(120 sec.)   # 预热结束

 MEASURING START.        #开始压测

   10, 918(0):0.846|1.053, 917(0):0.179|0.314, 92(0):0.089|0.119, 91(0):0.989|1.

 134, 92(0):2.696|2.913

   20, 929(0):0.805|0.863, 927(0):0.167|0.177, 93(0):0.076|0.079, 93(0):0.909|0.

 913, 92(0):2.578|2.580

   30, 911(0):0.811|0.863, 917(0):0.165|0.202, 91(0):0.083|0.084, 91(0):0.934|0.

 942, 92(0):2.548|2.597

   40, 911(0):0.928|1.189, 907(0):0.200|0.249, 92(0):0.090|0.110, 91(0):1.037|1.

 277, 90(0):3.027|3.103

   50, 871(0):0.881|0.994, 875(0):0.184|0.208, 87(0):0.091|0.099, 87(0):0.996|0.

 997, 88(0):2.762|2.802

   60, 886(0):0.863|1.008, 883(0):0.184|0.208, 88(0):0.084|0.091, 89(0):0.958|0.

 990, 89(0):2.656|2.667

   70, 900(0):0.835|0.891, 900(0):0.177|0.188, 90(0):0.087|0.087, 90(0):0.997|1.

 007, 90(0):2.679|2.720

   80, 868(0):0.841|0.915, 866(0):0.168|0.192, 87(0):0.087|0.094, 87(0):0.950|0.

 953, 88(0):2.517|2.611

   90, 914(0):0.825|0.914, 916(0):0.168|0.244, 91(0):0.083|0.086, 90(0):0.928|0.

 935, 90(0):2.532|2.590

  100, 860(0):0.811|0.846, 861(0):0.171|0.205, 86(0):0.086|0.107, 86(0):0.954|0.

 956, 87(0):2.540|2.622

  110, 881(0):0.837|0.904, 875(0):0.175|0.192, 88(0):0.081|0.082, 89(0):0.941|0.

 949, 87(0):2.594|2.625

  120, 881(0):0.840|1.029, 882(0):0.176|0.196, 89(0):0.085|0.114, 88(0):0.962|0.

 969, 87(0):2.620|2.705

  130, 831(0):0.860|0.910, 835(0):0.182|0.328, 83(0):0.085|0.095, 83(0):0.994|1.

 008, 84(0):2.733|2.747

  140, 861(0):0.860|0.926, 855(0):0.184|0.231, 85(0):0.091|0.097, 86(0):0.983|0.

 985, 87(0):2.844|2.880

  150, 850(0):0.849|0.908, 852(0):0.183|0.198, 85(0):0.091|0.105, 85(0):0.996|1.

 012, 84(0):2.835|2.858

  160, 863(0):0.865|0.922, 867(0):0.179|0.242, 87(0):0.130|0.167, 87(0):1.038|1.

 067, 86(0):2.771|4.078

  170, 849(0):0.851|0.891, 850(0):0.178|0.259, 85(0):0.081|0.094, 84(0):0.976|0.

 978, 85(0):2.741|2.760

  180, 850(0):0.814|0.865, 850(0):0.170|0.181, 85(0):0.081|0.085, 86(0):0.928|0.

 935, 86(0):2.496|2.721

  190, 857(0):0.845|0.904, 855(0):0.174|0.190, 86(0):0.086|0.098, 86(0):0.973|1.

 006, 86(0):2.611|2.685

  200, 864(0):0.828|0.877, 866(0):0.173|0.250, 86(0):0.084|0.086, 86(0):0.949|0.

 954, 85(0):2.536|2.547

  210, 847(0):0.843|0.952, 847(0):0.177|0.201, 85(0):0.084|0.085, 85(0):0.960|0.

 994, 86(0):2.594|2.617

  220, 869(0):0.869|0.909, 869(0):0.180|0.219, 87(0):0.087|0.088, 87(0):1.004|1.

 014, 87(0):2.586|2.652

  230, 836(0):1.031|1.059, 834(0):0.207|0.225, 83(0):0.095|0.097, 83(0):1.164|1.

 220, 83(0):3.049|3.051

  240, 849(0):0.817|0.841, 848(0):0.172|0.234, 85(0):0.078|0.079, 85(0):0.922|0.

 929, 85(0):2.548|2.551

  250, 833(0):0.836|0.894, 838(0):0.173|0.230, 84(0):0.079|0.081, 83(0):0.952|0.

 981, 83(0):2.569|2.598

  260, 853(0):0.855|0.946, 849(0):0.177|0.224, 84(0):0.090|0.164, 86(0):1.029|1.

 036, 85(0):2.749|2.877

  270, 839(0):0.860|0.936, 840(0):0.194|0.221, 85(0):0.082|0.086, 83(0):0.970|0.

 980, 85(0):2.724|2.755

  280, 856(0):0.829|0.879, 854(0):0.175|0.221, 86(0):0.081|0.087, 86(0):0.944|0.

 945, 84(0):2.592|2.733

  290, 836(0):0.836|0.945, 838(0):0.176|0.238, 83(0):0.081|0.085, 84(0):0.951|0.

 958, 85(0):2.609|2.618

  300, 855(0):0.838|0.938, 853(0):0.172|0.200, 85(0):0.084|0.086, 85(0):0.940|0.

 964, 86(0):2.523|2.556

 STOPPING THREADS..........    # 压测结束

 <Raw Results>

   [0] sc:26028  lt:0  rt:0  fl:0

   [1] sc:26026  lt:0  rt:0  fl:0

   [2] sc:2603  lt:0  rt:0  fl:0

   [3] sc:2602  lt:0  rt:0  fl:0

   [4] sc:2604  lt:0  rt:0  fl:0

  in 300 sec.

 <Raw Results2(sum ver.)>

   [0] sc:26028  lt:0  rt:0  fl:0

   [1] sc:26026  lt:0  rt:0  fl:0

   [2] sc:2603  lt:0  rt:0  fl:0

   [3] sc:2602  lt:0  rt:0  fl:0

   [4] sc:2604  lt:0  rt:0  fl:0 

 <Constraint Check> (all must be [OK])

  [transaction percentage]

         Payment: 43.48% (>=43.0%) [OK]

    Order-Status: 4.35% (>= 4.0%) [OK]

        Delivery: 4.35% (>= 4.0%) [OK]

     Stock-Level: 4.35% (>= 4.0%) [OK]

  [response time (at least 90% passed)]   #都ok,hh

       New-Order: 100.00%  [OK]

         Payment: 100.00%  [OK]

    Order-Status: 100.00%  [OK]

        Delivery: 100.00%  [OK]

     Stock-Level: 100.00%  [OK]

 <TpmC>

                  5205.600 TpmC

Output

4.测试结果解读：

第一部分：

10, 918(0):0.846|1.053, 917(0):0.179|0.314, 92(0):0.089|0.119, 91(0):0.989|1.134, 92(0):2.696|2.913

20, 929(0):0.805|0.863, 927(0):0.167|0.177, 93(0):0.076|0.079, 93(0):0.909|0.913, 92(0):2.578|2.580

30, 911(0):0.811|0.863, 917(0):0.165|0.202, 91(0):0.083|0.084, 91(0):0.934|0.942, 92(0):2.548|2.597

......

290, 836(0):0.836|0.945, 838(0):0.176|0.238, 83(0):0.081|0.085, 84(0):0.951|0.958, 85(0):2.609|2.618

300, 855(0):0.838|0.938, 853(0):0.172|0.200, 85(0):0.084|0.086, 85(0):0.940|0.964, 86(0):2.523|2.556

这类信息，每 10 秒产生一条输出，返回结果以逗号分隔后，共可以分为 6 列，
第一项：每 10 秒为一个区间进行输出。后面 5 项分属不同的业务操作，输出信息格式都一样。每一项都有 4 个属性值，即该时间区间内成功执行的事务、出现延迟的事务、90%事务的响应时间、事务的最大响应时间。
例如第一条的解释：

在第一个 10 秒区间内：
创建订单：共操作 918 次，失败 0 次，90%的事务平均操作时间 0.846 秒，最大操作时间是 1.053 秒。
订单支付：同上
查询订单：同上
发货：同上
查询库存：同上

第二部分：

<Raw Results>

  [0] sc:26028  lt:0  rt:0  fl:0    -- New-Order，新订单业务成功(success,简写 sc)数量，操作出现延迟(late,简写 lt)数量，操作重试(retry,简写 rt)数量，失败(failure,简写 fl)数量

  [1] sc:26026  lt:0  rt:0  fl:0    -- Payment，支付业务统计，其他同上

  [2] sc:2603  lt:0  rt:0  fl:0     -- Order-Status，订单状态业务统计，其他同上

  [3] sc:2602  lt:0  rt:0  fl:0     -- Order-Status，订单状态业务统计，其他同上

  [4] sc:2604  lt:0  rt:0  fl:0     -- Stock-Level，库存业务统计，其他同上

 in 300 sec.

第三部分：
TPCC 测试要求下面状态必须为 OK

<Constraint Check> (all must be [OK])

 [transaction percentage]

        Payment: 43.48% (>=43.0%) [OK]   # 要求支付业务占比

   Order-Status: 4.35% (>= 4.0%) [OK]    # 要求支付业务占比

       Delivery: 4.35% (>= 4.0%) [OK]    # 物流相关业务占比

    Stock-Level: 4.35% (>= 4.0%) [OK]    # 库存相关业务占比

 [response time (at least 90% passed)]   #都ok,hh

      New-Order: 100.00%  [OK]

        Payment: 100.00%  [OK]

   Order-Status: 100.00%  [OK]

       Delivery: 100.00%  [OK]

    Stock-Level: 100.00%  [OK]

第四部分：

<TpmC>

                 5205.600 TpmC

Tpm 是 Transactions per minute的缩写，C 指的是执行 TPC-C 基准测试。
TpmC 这项指标为整体性能指标，表示每分钟事务数，代表了本系统每分钟能够处理的订单数量。
该值是第一次统计结果中的新订单事务数除以总耗时分钟数，例如本例中是 26028/5 = 5205.6

(图形展示，尝试了好久失败了，果然烂尾)

参考链接：http://www.unixfbi.com/380.html#3

巴特西