Minio s3billion benchmark

This commit is contained in:
Quentin 2022-09-26 16:39:19 +02:00
parent b4c1f58a3c
commit b0b4b162dc
Signed by: quentin
GPG key ID: E9602264D639FF68
2 changed files with 151 additions and 0 deletions

View file

@ -0,0 +1,129 @@
total_objects,batch_dur_nanoseconds
0,35604165299
8192,30027091125
16384,36769805630
24576,44154399690
32768,36841962377
40960,52989512753
49152,52536807234
57344,53537348443
65536,53276055435
73728,55539526464
81920,54013225676
90112,68561851906
98304,69298493247
106496,114291303648
114688,78507905949
122880,126223986043
131072,121999273534
139264,153563457891
147456,151032625349
155648,149855834712
163840,153190455466
172032,150844647704
180224,156256328509
188416,151849908862
196608,154337246115
204800,154008292236
212992,160001140992
221184,154134240373
229376,147943023290
237568,150989793433
245760,161064597934
253952,150058583272
262144,158784561065
270336,150652453675
278528,108917197085
286720,158143657766
294912,151991188276
303104,150904775153
311296,152538005225
319488,158677889479
327680,151948293662
335872,131622851465
344064,120774952190
352256,160866374832
360448,157913387369
368640,157965094573
376832,155015634674
385024,152010190282
393216,151353578675
401408,152816629041
409600,100685222932
417792,151049307826
425984,152092080473
434176,156352511800
442368,156617304416
450560,156604667758
458752,163954135953
466944,102070359622
475136,155481160507
483328,157268905807
491520,162446380203
499712,159234723683
507904,141918580163
516096,133297515392
524288,92684666697
532480,153688292459
540672,154151441890
548864,157288990588
557056,159081065544
565248,153244088615
573440,161424543833
581632,174752406147
589824,155541074973
598016,159471780365
606208,158247043033
614400,157224045247
622592,160337074095
630784,157993307652
638976,156821062432
647168,158852305038
655360,161012982349
663552,156762111328
671744,159782719621
679936,156694048459
688128,175969992462
696320,159626684812
704512,156680995342
712704,155624836949
720896,161583816024
729088,156832016477
737280,160834148361
745472,157761321600
753664,157553638650
761856,176048273498
770048,156697917513
778240,162791069016
786432,156496526158
794624,161388816617
802816,159569344379
811008,159393281615
819200,158389581978
827392,164002225318
835584,162722200475
843776,160146392865
851968,164551137708
860160,177034374419
868352,161672813995
876544,169063897017
884736,160829838695
892928,157613804708
901120,162687585988
909312,166612325773
917504,160649709927
925696,163214320096
933888,178447566516
942080,155968188136
950272,161252816115
958464,159781104139
966656,163854372812
974848,157176626359
983040,160325050560
991232,165218492441
999424,160172384289
1007616,159316385255
1015808,178044565059
1024000,164817520071
1032192,159428724027
1040384,159973237521
1 total_objects batch_dur_nanoseconds
2 0 35604165299
3 8192 30027091125
4 16384 36769805630
5 24576 44154399690
6 32768 36841962377
7 40960 52989512753
8 49152 52536807234
9 57344 53537348443
10 65536 53276055435
11 73728 55539526464
12 81920 54013225676
13 90112 68561851906
14 98304 69298493247
15 106496 114291303648
16 114688 78507905949
17 122880 126223986043
18 131072 121999273534
19 139264 153563457891
20 147456 151032625349
21 155648 149855834712
22 163840 153190455466
23 172032 150844647704
24 180224 156256328509
25 188416 151849908862
26 196608 154337246115
27 204800 154008292236
28 212992 160001140992
29 221184 154134240373
30 229376 147943023290
31 237568 150989793433
32 245760 161064597934
33 253952 150058583272
34 262144 158784561065
35 270336 150652453675
36 278528 108917197085
37 286720 158143657766
38 294912 151991188276
39 303104 150904775153
40 311296 152538005225
41 319488 158677889479
42 327680 151948293662
43 335872 131622851465
44 344064 120774952190
45 352256 160866374832
46 360448 157913387369
47 368640 157965094573
48 376832 155015634674
49 385024 152010190282
50 393216 151353578675
51 401408 152816629041
52 409600 100685222932
53 417792 151049307826
54 425984 152092080473
55 434176 156352511800
56 442368 156617304416
57 450560 156604667758
58 458752 163954135953
59 466944 102070359622
60 475136 155481160507
61 483328 157268905807
62 491520 162446380203
63 499712 159234723683
64 507904 141918580163
65 516096 133297515392
66 524288 92684666697
67 532480 153688292459
68 540672 154151441890
69 548864 157288990588
70 557056 159081065544
71 565248 153244088615
72 573440 161424543833
73 581632 174752406147
74 589824 155541074973
75 598016 159471780365
76 606208 158247043033
77 614400 157224045247
78 622592 160337074095
79 630784 157993307652
80 638976 156821062432
81 647168 158852305038
82 655360 161012982349
83 663552 156762111328
84 671744 159782719621
85 679936 156694048459
86 688128 175969992462
87 696320 159626684812
88 704512 156680995342
89 712704 155624836949
90 720896 161583816024
91 729088 156832016477
92 737280 160834148361
93 745472 157761321600
94 753664 157553638650
95 761856 176048273498
96 770048 156697917513
97 778240 162791069016
98 786432 156496526158
99 794624 161388816617
100 802816 159569344379
101 811008 159393281615
102 819200 158389581978
103 827392 164002225318
104 835584 162722200475
105 843776 160146392865
106 851968 164551137708
107 860160 177034374419
108 868352 161672813995
109 876544 169063897017
110 884736 160829838695
111 892928 157613804708
112 901120 162687585988
113 909312 166612325773
114 917504 160649709927
115 925696 163214320096
116 933888 178447566516
117 942080 155968188136
118 950272 161252816115
119 958464 159781104139
120 966656 163854372812
121 974848 157176626359
122 983040 160325050560
123 991232 165218492441
124 999424 160172384289
125 1007616 159316385255
126 1015808 178044565059
127 1024000 164817520071
128 1032192 159428724027
129 1040384 159973237521

22
scenarios/minio-s3billion Executable file
View file

@ -0,0 +1,22 @@
#!/usr/bin/env python3
from fragments import minio, s3billion, shared, flavor
import sys, os
for fl in sys.argv[1:]:
if fl in flavor.minio:
minio.version = flavor.minio[fl]
#os.environ['BATCH_COUNT'] = "2"
shared.exec("ulimit -n 65535")
if shared.id() == 1:
minio.deploy_coord()
s3billion.on_minio()
minio.delete_sync_bucket()
minio.destroy()
else:
minio.deploy_follow()
minio.sync_on_bucket_down()
minio.destroy()
shared.log("bye")