分布式存储有哪些主流的厂商,架构上有哪些优缺点?

分布式存储有哪些主流的厂商,架构上有哪些优缺点?

参与20

3同行回答

wangshuai_gowangshuai_go  存储工程师 , 证券
主流厂商很多,有传统存储厂商比如IBM,EMC,HDS,NETAPP。 这些公司要么是将以往的集群文件系统软件或是存储软件进行再包装拿出来卖比如IBM 的GPFS。这些主要分布式文件系统,成熟度较高,解决方案也比较全。还有将传统存储的系统硬件进行剥离来形成一套SDS 软件定义存储,比如IBM...显示全部

主流厂商很多,有传统存储厂商比如IBM,EMC,HDS,NETAPP。
这些公司要么是将以往的集群文件系统软件或是存储软件进行再包装拿出来卖比如IBM 的GPFS。这些主要分布式文件系统,成熟度较高,解决方案也比较全。
还有将传统存储的系统硬件进行剥离来形成一套SDS 软件定义存储,比如IBM 将SVC 的纯软件版本叫Spectrum Virtualize, XIV 的纯软件定义分布式存储叫purple。这些产品的地位一般比较尴尬,因为其在性能方面比不过其祖先传统存储,在架构和推广方面有比不过专门的SDS 存储公司的分布式存储。
当然还有收购买SDS 存储公司得来的产品,比如netapp 收购了solidfire。 EMC 收购的Isilon 。
还有自研发的,比如华为的fusionstorage。

专门的SDS 分布式存储厂商也有很多。比如未被收购前的solidfire。 超融合分布式存储厂商hedvig。

虽然SDS分布式存储有很多中,但是仔细分析会发现不同厂商的分布式存储都会有其清晰的市场定位和优势场景:
比如solidfire 其主要定位就在块block协议,不提供file和object对象功能。其主要定位就是7成用来云opentask,VM,2成用在轻量级数据库比如monggo PG,1成用来IOPS 2W左右的物理机。并且其核心设计里理念就是云里面保证qos,单个host提供有限的IO,其架构不适用与高带宽应用。 但其优势就是用丰富的API,和云集成比较好。不能满足也不适合传统高性能数据库应用。
比如华为Fusionstorage block 存储其定位也是在快block ,主要提供高性能块存储,可以适用于一般的高性能数据库。但是也不支持file和object 协议。
比如WOS其定位就是objec 对象海量文件使用场景,其在块bolck 场景应用上就不行了。
比如hedvig其主要定位和忽悠点在存储超融合以及从传统存储到云的混合存储环境。

所以首先要明白你的业务类型和存储适用场景。不是什么分布式存储产品都可以随便拿来用,一点要好市场和技术功能的调研和深入分析。针对你的需求来选择不同的分布式存储来满足应用业务需求。

收起
证券 · 2017-09-06
浏览6734
zhutuzhutu  存储工程师 , 中国电子科技集团第五十二研究所
上面说了很多国外的厂家,这边我说下国内的。事实上国内在分布式存储领域的研究一点也不比国外的迟。比如我们目前供职的龙存在07年开始就专注于分布式存储,团队出自中科院的超级计算机团队。目前也有十年的产品化经验,在分布式存储上长时间深入。类似的比如曙光的parastor、...显示全部

上面说了很多国外的厂家,这边我说下国内的。事实上国内在分布式存储领域的研究一点也不比国外的迟。比如我们目前供职的龙存在07年开始就专注于分布式存储,团队出自中科院的超级计算机团队。目前也有十年的产品化经验,在分布式存储上长时间深入。类似的比如曙光的parastor、华为的n9000,中科蓝鲸等。
架构上按照存储界的冬瓜哥的说法按照元数据的管理方式,可分为对称式集群文件系统和非对称式集群文件系统。前者比如LoongStore、Parastor、BWFS,后者像N9000。这两种相对来说区别不大,只是对称式的由于每台节点需要保存共同一份元数据,相对来说集群规模会受到限制。按照文件访问方式来分类,集群文件系统可分为串行访问式和并行访问式,后者又被俗称为并行文件系统。对于分布式集群,其对文件元数据的管理方式又可以分为single path image和single filesystem image。各自都有优缺点,主要看应用的场景和实际的性能需求。

收起
IT咨询服务 · 2017-09-25
浏览6382
匿名用户匿名用户
分布式存储的主流厂商有IT大厂华为、新华三,也有存储创新企业如南京道熵、XSKY等。大部分厂家的技术路线是以开源Ceph为基础,架构以三副本为主,如华为、XSKY、新华三;而南京道熵则采用双重RAID架构,每个节点采用存储虚拟化与本地RAID管理,节点间则是分布式两副本技术,架构上更接...显示全部

分布式存储的主流厂商有IT大厂华为、新华三,也有存储创新企业如南京道熵、XSKY等。

大部分厂家的技术路线是以开源Ceph为基础,架构以三副本为主,如华为、XSKY、新华三;而南京道熵则采用双重RAID架构,每个节点采用存储虚拟化与本地RAID管理,节点间则是分布式两副本技术,架构上更接近(分布式)磁盘阵列。

分布式存储应用非常广泛,主要应用于Openstack私有云平台,各种共有云平台,服务器虚拟化,超融合平台等;按接口分,包含块存储、对象存储、文件存储等。分布式存储逐渐取代传统磁盘阵列,成为存储平台化建设的首选。

从技术角度而言,双重RAID架构与三副本架构相比,在稳定性和数据可靠性方面更具优势,尤其双重RAID具备非常优秀的硬件故障隔离特性,而三副本对硬件故障的检查和容错能力较弱。

三副本分布式存储采用网络间三副本策略实现数据保护与故障修复。当某个硬盘(OSD)发生故障时,该硬盘OSD上的数据自动按CRUSH规则,自动在其他硬盘OSD上重建。网络数据重建有以下几个弊端:1 消耗网络带宽,可能会影响到业务数据的正常工作;2 TCP/IP网络具有数据包丢失与重发的特性,可能导致网络故障或网络抖动,影响OSD的状态,引起OSD重建的连锁反应;严重时整个存储系统存在业务中断、甚至丢失数据的风险。

双重RAID采用节点内RAID与网络间两副本策略相结合的策略实现数据保护与故障修复。节点内RAID对各个节点实现存储虚拟化管理,通过虚拟卷为OSD提供存储服务(vOSD),在vOSD上层通过分布式两副本策略提供节点间数据保护与业务高可用功能。当某个硬盘发生故障时,由节点内RAID对数据实现本地数据修复,而上层vOSD状态正常,毫无感知,不会触发网络数据修复。与网络数据修复相比,本地RAID数据修复具有以下特征:1 硬件故障隔离,避免了网络修复可能导致的稳定性问题;2 可自动避让业务,保证业务无感知;3 本地修复时数据延迟小,只使用本地RAID带宽,不消耗网络带宽;4 抵御故障能力强,每个节点都能抵御一个或多个硬盘故障;而三副本最多抵御两个连续的硬盘故障。

收起
软件开发 · 2021-04-03
浏览3338

提问者

午夜幽魂
系统运维工程师计算机有限公司
擅长领域: 服务器存储AIX

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-09-06
  • 关注会员:5 人
  • 问题浏览:9909
  • 最近回答:2021-04-03
  • X社区推广