对象存储的压测如何做?

我们公司对于对象存储的选型,基本上已经定了ceph,目前正在大力研究ceph ,对于后续的非结构化,及结构化数据今后将准备往ceph 分布式存储上批量应用,对于这方面有几个问题
1: 因为用的14.2.10版的, 可参考的案列不是很多, 目前我们用bluestore 存储 ,压测效果 不是很理想, 想准备采用分层缓存, 将ssd 做前端缓存池, sata 做后端存储池, 这种方案 较之前方法,在性能上会不会有很大提升,?因为之前  压测结果来看, 4k随机读iops 能达到 12w, 但随机写的iops 只能达到 5000多 ,这方面不知道为什么会差这么多?
2: 由于我 对于压测方面 也没什么经验, 对于块存储,文件存储,对象存储方面的压测能否在这方吗分享下经验,以下是我自己摸索的, 请指教:
1):块存储: 用fio 
随机读
fio --filename=./test -iodepth=64 -ioengine=libaio -direct=1 -rw=randread -bs=4k -size=2G -numjobs=64 -runtime=30 -group_reporting -name=test-rand-read
随机写
fio --filename=./test -iodepth=64 -ioengine=libaio -direct=1 -rw=randwrite -bs=4k -size=2G -numjobs=64 -runtime=30 -group_reporting -name=test-rand-write
2):文件存储:用的也是 fio  ,对于文件存储的压测,在引擎这块需要特殊选择吗?
3):对象存储: 用的是 cosbench , 这个压测 结果 ,我们重点关注什么参数结果了 ? 是Throughput(op/s )还是 bandwidth(B/s) ?

4回答

荣重实荣重实  技术总监 , XSKY
铭鹿赞同了此回答
使用对象存储,先从自身业务出发,明确要存的数据类型和数据大小范围;海量小文件肯定是主要关注ops,而且要看平均时延,对小文件的性能,开源Ceph的优化肯定是不足的,另外现在的cache tier技术,所有数据都会过cache,很容易就会把cache层冲爆;对于比较大的文件类型,关注throughput就好;对...显示全部

使用对象存储,先从自身业务出发,明确要存的数据类型和数据大小范围;海量小文件肯定是主要关注ops,而且要看平均时延,对小文件的性能,开源Ceph的优化肯定是不足的,另外现在的cache tier技术,所有数据都会过cache,很容易就会把cache层冲爆;对于比较大的文件类型,关注throughput就好;对象存储底层数据落盘会落大块,所以如果小文件肯定会有实际存储空间的浪费。

对于硬件的配置,比如cpu内存SSD,都是影响测试数值的关键因素,感觉性能不足,还要检查测试用例和测试模型,跟实际硬件配置综合考量。

收起
 2020-07-24
浏览1048
匿名用户匿名用户
把size设置大点看下,读的性能是不是波动很大显示全部

把size设置大点看下,读的性能是不是波动很大

收起
 2020-07-29
浏览641
djl2020djl2020  技术服务支持经理 , 苏州元核云技术有限公司
对象存储的压测用的比较多的是cosbench,从您压测的结果来看,随机读应该是内存读写。对象存储压测的结果跟服务器数量,硬盘类别、数量以及对象存储的存储池配置都有很大的关系,没有压测硬件配置和ceph的配置信息,很难对结果进行评估。...显示全部

对象存储的压测用的比较多的是cosbench,从您压测的结果来看,随机读应该是内存读写。对象存储压测的结果跟服务器数量,硬盘类别、数量以及对象存储的存储池配置都有很大的关系,没有压测硬件配置和ceph的配置信息,很难对结果进行评估。

收起
 2020-07-20
浏览1118
对于块和文件的测试,说的文件已经比较多,我就不再班门弄斧了。对于对象,COSBench是一个用得比较多的工具,一般来说,针对不同的应用情况,来决定你对OPS、响应时间、带宽、成功率等等指标的敏感程度。一般来说,对性能要求较高,可以是OPS、时延比较重要;带宽对并发比较重要。...显示全部

对于块和文件的测试,说的文件已经比较多,我就不再班门弄斧了。
对于对象,COSBench是一个用得比较多的工具,一般来说,针对不同的应用情况,来决定你对OPS、响应时间、带宽、成功率等等指标的敏感程度。
一般来说,对性能要求较高,可以是OPS、时延比较重要;带宽对并发比较重要。

收起
 2020-07-17
浏览1287

提问者

山鸡其它, 某保险

分布式块存储选型优先顺序调查

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2020-07-15
  • 关注会员:5 人
  • 问题浏览:3541
  • 最近回答:2020-07-29