YCSB benchmark测试mongodb性能——和web服务器测试性能结果类似
2023-09-14 09:11:57 时间
转自：http://blog.sina.com.cn/s/blog_48c95a190102v9kg.html
YCSB（Yahoo! Cloud Serving Benchmark）是雅虎开源的一款通用的性能测试工具。通过这个工具我们可以对各类NoSQL产品进行相关的性能测试，包括：HBase、 Cassandra、Mongodb、Voldemort、Redis等。通过配置workload文件，YCSB可以灵活的模拟不同的测试负载和读写模 式，以下为YCSB测试Mongo性能步骤的简单总结。
首先，下载YCSB。在YCSB的github项目下可以查看和下载最新源码和所有Tag版本，目前最新的Tag版本为 0.1.4(https://github.com/brianfrankcooper/YCSB/archive/0.1.4.zip)。下载后的 ycsb-0.1.4.zip解压缩后即可直接使用，无需编译安装。在解压后的目录下，主要使用的两个目录是bin和workloads，前者包含了 ycsb可执行文件，后者包含了工具自带的各类workload文件。
其次，配置YCSB。在使用YCSB对Mongodb进行压
力测试前，必须进行一些必要的配置。可以根据测试需要选择workloads目录下的任意已有workload文件，添加待测试的mongo实例信息。这
里假定使用workloada文件，且待测试的mongo实例运行在本地的27017端口上，那么相应的配置文件内容如下：
mongodb.url=mongodb://localhost:27017
# 待测试mongo实例的数据库地址
mongodb.database=ycsb
# 测试时使用的数据库名称
mongodb.writeConcern=normal
# 写入安全性为常规
recordcount=10000000
# 测试数据集的记录条数
operationcount=10000000
# 测试过程中执行的操作总数
workload=com.yahoo.ycsb.workloads.CoreWorkload
# workload实现类
readallfields=true
# 查询时是否读取记录的所有字段
readproportion=0.5
# 读操作的百分比
updateproportion=0.5
# 更新操作的百分比
scanproportion=0
# 扫描操作的百分比
insertproportion=0
# 插入操作的百分比
requestdistribution=zipfian
# 请求分布模式
再次，运行YCSB。YCSB的运行分为两个阶段：测试数据加载阶段和测试操作执行阶段，前者用来加载测试数据集，后者用来执行正真的测试操作，两个阶段都要使用上面的配置文件。数据加载的执行命令为：./bin/ycsb
load mongodb -threads 100 -P
workloads/workloada，即根据workloada的配置要求启动100个线程并发加载测试数据，在执行完成后YCSB会打印出类似于下面的数据加载性能统计数据：
[OVERALL],
RunTime(ms), 905346.0 # 数据加载所用时间(毫秒)
[OVERALL],
Throughput(ops/sec), 11045.500836144412 #
加载操作的吞吐量(ops/sec)
[INSERT],
Operations, 10000000 # 执行insert操作的总数
[INSERT],
AverageLatency(us), 9024.8155659 #
每次insert操作的平均延时(微秒)
[INSERT],
MinLatency(us), 139 # 所有insert操作的最小延时(微秒)
[INSERT],
MaxLatency(us), 1022876 # 所有insert操作的最大延时(微秒)
[INSERT],
95thPercentileLatency(ms), 27 #
95%的insert操作延时在27毫秒以内
[INSERT],
99thPercentileLatency(ms), 42 #
99%的insert操作延时在42毫秒以内
[INSERT],
Return=0, 10000000 # 成功返回数10000000
[INSERT],
0, 3793117 # 以下insert操作在各个延时时间区域的分布情况
[INSERT],
1, 37171
[INSERT],
2, 8035
[INSERT],
3, 6294
...
[INSERT],
999, 0
[INSERT],
>1000, 5
执行压力测试的命令为：./bin/ycsb
run mongodb -threads 100 -P
workloads/workloada，即根据workloada的配置要求启动100个线程并发执行测试操作，在执行完成后YCSB会打印出类似于下面的性能统计数据，统计项说明可参照上文：
[OVERALL],
RunTime(ms), 526774.0
[OVERALL],
Throughput(ops/sec), 18983.472988416284
[UPDATE],
Operations, 500675
[UPDATE],
AverageLatency(us), 6493.521553902232
[UPDATE],
MinLatency(us), 147
[UPDATE],
MaxLatency(us), 1096742
[UPDATE],
95thPercentileLatency(ms), 18
[UPDATE],
99thPercentileLatency(ms), 62
[UPDATE],
Return=0, 500675
[UPDATE],
0, 62719
[UPDATE],
1, 69850
...
[UPDATE],
999, 0
[UPDATE],
>1000, 16
[READ],
Operations, 9499325
[READ],
AverageLatency(us), 5173.494588510236
[READ],
MinLatency(us), 87
[READ],
MaxLatency(us), 1113170
[READ],
95thPercentileLatency(ms), 17
[READ],
99thPercentileLatency(ms), 54
[READ],
Return=0, 9499325
[READ],
0, 3394330
[READ],
1, 1187011
...
[READ],
999, 1
[READ],
>1000, 294