系统集成分布式存储

目前分布式存储是否适用大多数行业和应用?

随着X86性能的提升和万兆 10万兆网络的发展,分布式存储的瓶颈似乎也越来越少,除了特殊行业如金融等对IO有特殊要求的行业。分布式存储是否适用在大多数行业和应用中呢。以我目前接触过两个例子来说。一个用的超融合运行大数据分析业务,另一个用的Vsan运行虚拟化,上面分布数...显示全部

随着X86性能的提升和万兆 10万兆网络的发展,分布式存储的瓶颈似乎也越来越少,除了特殊行业如金融等对IO有特殊要求的行业。分布式存储是否适用在大多数行业和应用中呢。
以我目前接触过两个例子来说。一个用的超融合运行大数据分析业务,另一个用的Vsan运行虚拟化,上面分布数据库,中间件等,由于业务没有那么大的压力。所以目前看分布式存储是可以胜任这样的环境的。
在实际更多的行业中,还有那些除了对IO有很高要求的行业以外,不适用分布式存储的应用呢

收起
参与23

查看其它 9 个回答一只红松鼠的回答

一只红松鼠一只红松鼠其它其它

从题主的描述来看,问题可能是“采用通用X86服务器的分布式存储是否适用大多数行业(比如问题中的超融合)”,甚至可能是“采用通用 X86服务器 +分布式软件 是否适用大多数行业(VSAN的例子) ”。所以分别回答一下这几种情况。
首先以我的经历,IT业务场景的差异是非常巨大的。几年前一个项目招了几个DBA,干了几天发现他工作方法效率非常低,不像有几年的经验的样子。后来明白了,他以前搞的数据库1T就很大了,而我们的业务抄起来就是几T甚至十几T,他原来效率很高的方法就变成了很低效的方法。

具体到提问, 第一,分布式存储,仅讨论使用分布式架构的存储的话,那么大部分场景都是适用的(参见另一话题回复)。例外之处反而可能不是高IO,而是一些小场景。因为分布式架构需要一定规模才能发挥性能、成本优势,小场景反而是磁盘队列的优势。

那么我们来看看 “采用通用X86服务器的分布式存储是否适用大多数行业 ”。我借用下AWS的实践来回答,因为AWS能看到场景应该比我们能遇到的丰富得多。AWS的存储绝对是分布式的,早期也是用通用服务器的,网络是10GE。很符合题主描述的情况。但从去年发布的EBS IO2 Express,开始使用专有硬件、专有网络协议。网络带宽没有看到,但因为估计要承载ROCE,25GE是大概率。
从AWS上抓了不同卷类型的特点、场景对比表,应该比较符合题主的问题方向,但也不可能完美解答。比如Oracle,虚拟桌面等等在多种类型的存储中都出现过,应该用哪种,恐怕AWS也说不太清。这就像我找的DBA,他理解的最大,IO密集型,中小等概念,和我理解的可能不在一个位面。

卷类型EBS预置的IOPS SSD(io2 Block Express)EBS预置IOPS SSD(io2)EBS预置的IOPS SSD(io1)EBS通用SSD(gp3)EBS通用SSD(gp2)*
简短的介绍最高性能的SSD卷,专为对延迟至关重要的关键业务事务型工作负载而设计最高性能和最高耐用性的SSD卷设计用于对延迟敏感的事务性工作负载高性能SSD卷,专为对延迟敏感的事务性工作负载而设计成本最低的SSD,可平衡各种事务性工作负载的价格性能通用SSD容量,可平衡各种交易工作负载的价格性能
耐用性99.999%99.999%99.8%-99.9%的耐久性99.8%-99.9%的耐久性99.8%-99.9%的耐久性
用例NoSQL和关系数据库(如Oracle,SAP HANA,Microsoft SQL Server和SAS Analytics)的最大,最I / O密集型,关键任务部署I / O密集型NoSQL和关系数据库I / O密集型NoSQL和关系数据库虚拟桌面,中等大小的单实例数据库(例如Microsoft SQL Server和Oracle),对延迟敏感的交互式应用程序,启动卷和开发/测试环境虚拟桌面,中等大小的单实例数据库(例如Microsoft SQL Server和Oracle),对延迟敏感的交互式应用程序,启动卷和开发/测试环境

不过这张表还是能看出很多信息,简单解读一下:

  1. 对存储的选择除了性能还有可靠性,对应题主的问题,除了金融等特殊行业,要求可靠性高的场景也很多
    2. 而从存储能力方面,高性能和高可靠往往是相伴而生的,即使性能要求不高,有很高可靠性需求也要使用比较高端的存储,只能全都要,不能二选一
    2. 高性能、高可靠的需求大量存在,否则AWS也不必花那么大投入,还收购了一家公司来补齐这部分能力;
    3. 高性能高可靠是很难实现的,AWS只是实现了个预览版,而且通用硬件已经搞不定了。
    至于像VSAN这样完全分离的方案,要考虑的因素还有软件的能力。VSAN是很强大的软件,运维也比较容易。如果使用其它产品,可靠性,运维能力也是需要考虑的。
IT咨询服务 · 2021-11-10
浏览1813
  • 补充说明,表中的信息记忆中是从英文网站扒的,但时间长了,找不到链接了。而且用的机器翻译,各位凑合看吧。
    2021-11-10

回答者

一只红松鼠
其它其它
擅长领域: 存储云计算分布式架构

一只红松鼠 最近回答过的问题

回答状态

  • 发布时间:2021-11-10
  • 关注会员:10 人
  • 回答浏览:1813
  • X社区推广