云平台采用服务器本地存储盘,实现分布式存储资源池,如何选型和相关磁盘性能指标?

云平台采用本地存储作为存储池,在选型时需要关注哪些性能指标和高可用指标?如何进行测试?

参与9

2同行回答

sxtycxxsxtycxx 解决方案经理人工智能(计算机视觉)
云平台采用分布式存储架构,关注的各项指标其实和集中存储没有太大的区别1、可用容量:取决于哪些数据保护机制2、IOPS:这个主要取决于硬盘的选择类型,PCIe Nvme SSD>SSD>HDD3、高可用 :通过多副本机制(N 副本技术可以允许 N-1 个节点同时故障数据不丢失)和纠删码(*4+2 时,当任意 2 个...显示全部

云平台采用分布式存储架构,关注的各项指标其实和集中存储没有太大的区别
1、可用容量:取决于哪些数据保护机制
2、IOPS:这个主要取决于硬盘的选择类型,PCIe Nvme SSD>SSD>HDD
3、高可用 :通过多副本机制(N 副本技术可以允许 N-1 个节点同时故障数据不丢失
)和纠删码(*4+2 时,当任意 2 个节点故障时,数据是不会丢失的)两种方式来保障
4、磁盘利用率:纠删码机制要比多副本对于磁盘的利用率要高;
5、多副本:适合读写性能较高的块存储和小文件类型存储应用场景
6、纠删码:适合读写性能要求相对低的大文件存储应用场景

收起
互联网服务 · 2022-07-29
浏览1080
李静12138李静12138产品解决方案总监星辰天合(北京)数据科技有限公司
调研云主机跑的业务系统1.以1MB以下小文件读写场景为主,关注IOPS指标,如IOPS要求不高,可以视情况选用10K RPM或者15K SAS接口机械硬盘,平均一块SAS硬盘可以提供150-180IOPS,缓存盘采用每节点配置2块960G SATA SSD;如要求单节点需提供上万IOPS,可选择SATA SSD,平均一块硬盘保守估...显示全部

调研云主机跑的业务系统

1.以1MB以下小文件读写场景为主,关注IOPS指标,如IOPS要求不高,可以视情况选用10K RPM或者15K SAS接口机械硬盘,平均一块SAS硬盘可以提供150-180IOPS,缓存盘采用每节点配置2块960G SATA SSD;如要求单节点需提供上万IOPS,可选择SATA SSD,平均一块硬盘保守估计可以提供2000IOPS,缓存盘采用每节点2块1.92T-3.84TSSD,根据延迟要求不同,可选择SATA SSD或者NVME SSD,全闪情况下建议使用NVME SSD作为缓存盘

2.以1MB以上大文件读写场景为主,关注吞吐量,选用大容量SATA硬盘,平均一块保守估计可以提供100MB/S的带宽,根据客户提出的吞吐量需求,选择一定数量的SATA硬盘以匹配需求

高可用指标:

1.副本:容量利用低,但是性能高,适用于海量小文件读写性能IOPS较高的存储应用场景(一般采用3副本策略)

2.EC:容量利用率高,但是性能比副本较弱,适用于大文件顺序读写,性能要求不高的存储应用场景(客户注重容量利用率,选用8+2:1;一般情况下均衡安全性和容量利用率的情况下选用4+2:1)

测试方案:

为云主机指派块存储卷,LINUX主机可以通过Vdbench或者FIO工具进行测试,以Vdbench为例,通过不同Vdbench.sh脚本,指定主机名,并发数,是否绕过缓存,随机读写比例(例如7:3)或纯读纯写,

每次读写的IO大小,指定写入的LINUX路径(对应块存储mount的挂载点),脚本运行的时长,最后会得出响应的性能数值(延迟,带宽,IOPS)如图所示;如客户觉得得出的性能结果过于优化,也可选择通过绕过物理服务器缓存,进行落盘读写的方式进行测试

收起
软件开发 · 2022-11-04
浏览893

提问者

lulihuan1987
数据库管理员张家港行
擅长领域: 数据库服务器分布式系统

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-07-28
  • 关注会员:3 人
  • 问题浏览:1951
  • 最近回答:2022-11-04
  • X社区推广