分布式存储在企业核心存储方面的应用前景如何?从集中存储向分布式存储迁移的会不会成为一种趋势?

参与32

9同行回答

victortpvictortp系统架构师某大型保险
共存融合是趋势。一、稳定性核心业务第一要求是稳定,集中式存储除了可以提供高容量、低延时、稳定运行外,还有多种技术手段支持复制、灾备。分布式存储并无明显的优势,且在复制、灾备方面有明显的短板,即使是吹得天花乱坠的异地多副本方式也只有人敢听没有人敢实施。二、成本...显示全部

共存融合是趋势。
一、稳定性
核心业务第一要求是稳定,集中式存储除了可以提供高容量、低延时、稳定运行外,还有多种技术手段支持复制、灾备。分布式存储并无明显的优势,且在复制、灾备方面有明显的短板,即使是吹得天花乱坠的异地多副本方式也只有人敢听没有人敢实施。

二、成本
集中式存储依赖的FC网络已经运行了多年,成熟度高,犯不上为了面子进行替换,对于依赖集中式存储的系统,成本不是最主要,稳定运行才是第一位的。
分布式存储要想运行得好对网络要求高,交换机acl、限流、收敛比等等细节都需要提前考虑并单独规划,匹配的主机要想运行得好还要有智能网卡支持,还有多副本的要求,这等等加起来成本与集中式存储比并不明显。

仅仅考虑此两点,也不值得替代,新系统架适当采用分布式存储,共存融合是个理想状态。

收起
保险 · 2021-06-02
浏览2673
一只红松鼠一只红松鼠其它其它
先说第二个问题。这个问题的复杂之处在于分布式和集中式不是替代关系。从总的趋势看,分布式架构成为存储架构趋势是对的,但集中式架构却融入了分布式中,并没有完全消失。毕竟分布式存储和集中式存储是同父异母的亲兄弟。另一个复杂的问题是:分布式存储是什么,很多IT概念有交集...显示全部

先说第二个问题。这个问题的复杂之处在于分布式和集中式不是替代关系。从总的趋势看,分布式架构成为存储架构趋势是对的,但集中式架构却融入了分布式中,并没有完全消失。毕竟分布式存储和集中式存储是同父异母的亲兄弟。另一个复杂的问题是:分布式存储是什么,很多IT概念有交集导致大家在说同一个词时,并不是说的一个事情,最后我会做下分析,这里再明确一下,我认为的趋势是分布式架构是存储架构的趋势,同时伴随着分布式和传统意义上集中式架构的融合。

现在市面上大部分存储都采用了分布式架构了,包括被称为集中式存储的EMC,华为的企业存储,其实打开来看,也是分布式架构的。如果对比一下华为OceanStor和Ceph的架构,是不是非常像?

华为企业存储架构,传统上认为是集中式,实际上已经是分布式

华为企业存储架构,传统上认为是集中式,实际上已经是分布式

Ceph架构

Ceph架构

其实这也很正常。最早的分布式存储是XIV(后来被IBM收购)。而它的创始人同时是 EMC Symmetrix之父摩西·亚奈。货真价实的同父异母的亲兄妹了属于。

既然“集中式”存储都用了分布式架构了,那当然分布式架构就成为趋势了。但同时很多分布式存储也使用的集中式存储的架构,来构成分布式存储的基本单元。我们看两个例子:

第一个是FACEBOOK,它用于分布式存储的72盘位开源服务器既可以只有一个计算节点,也可以装两个计算节点,也就是可以拆成两个服务器,还可以不装计算节点,变得和磁盘阵型中的硬盘框一样。

如果第一个还不是很明显,再看一下AWS收购的E8 Storage的架构,典型的双控架构:

这个双控节点是组成分布式存储的一个节点,AWS块存储最近新产品升级很快,与收购E8关系很大。

为什么会有这种你中有我的情况?其实还是需求决定的。分布式的优势一个是扩展性好,另一个是故障时任意部件都可被接管。作为“集中式存储”的主要应用场景,可靠性是非常重要的,扩展性要求也是越来越高,因此融入(或者说本来就有,毕竟一个爹)分布式架构就很容易理解。而“集中式”双控架构一方面IO性能上有优势,这可能是Aws看重它的原因。另一方面现在分布式存储 的一个服务器硬盘很多,像华为的pacific,一台服务器最多120块盘,如果坏一台,那影响是相当大。所以pacific也用了双控架构,可以互相接管,可以有效降低爆炸半径

可能会有朋友觉得你讲的分布式架构,和我理解的分布式存储不是这样的。我经常碰到的是把SDS和分布式存储划等号,而还有很多时候把SDS和通用PC服务器+存储软件划等号。要看清这个问题只要想想这几个东东的概念。

分布式存储,显然就是采用了分布式架构的存储,至于使用什么硬件,不是决定它是不是分布式存储 的关键。只不过,最早的分布式存储用了通用硬件,而后来开源的分布式存储更是只有软件 而已。

SDS,软件定义存储 。从名称就可以看出,SDS的灵魂是“定义”,否则就变成了“软件存储”。只不过和上面类似的最早的SDS只提供了软件,所以它同时也是软件存储。

可见这几个只是有交集,但定义完全不同的概念。但偏偏交集的“面积”比较大,或者比较受认可,所以经常被互相替换。如果你的问题是分布式存储软件模式是不是趋势,其实从FaceBook和AWS的做法也能看出来。虽然他们没有制造硬件,但使用的都是自己设计,与自己的软件捆绑的硬件,已经不是通用硬件了。他们真的做了软件来“定义”的存储。归根结底,分布式,软硬解耦,专有硬件这些都与需求和自身能力想匹配,没有最好的架构,只有最合适的架构。

再回到第一个问题,可能大部分朋友提到的集中式存储也不是专指集中式存储架构,而是指使用专有硬件、软硬一体化,具备比较高性能的存储系统,代表就是磁盘阵列。从前面的回复可以看到,由于需求仍然存在,这种存储同样会存在,只是架构会有所变化。融合了分布式等架构后,再叫集中式存储已经不太合适,我更愿意称其为企业存储。这个企业不是指企业使用,而是高级专业的意思,类似英语中企业版,企业号航母,企业号宇宙飞船的意思。

收起
IT咨询服务 · 2021-11-09
浏览1570
wangshuai_gowangshuai_go存储工程师证券
我这边仅从这么多年存储使用和运维经验角度来谈这个问题,我的感受和经验: 价格方面: 1、这里以企业级生产的块协议存储为例。 2、这么多年我供职过2大公司在软件定义分布式存储上的调研、分析、测试每年都花费大量时间精力,但始终还是没有大量铺开使用块协议的分布式存储,...显示全部

我这边仅从这么多年存储使用和运维经验角度来谈这个问题,我的感受和经验:

价格方面:
1、这里以企业级生产的块协议存储为例。
2、这么多年我供职过2大公司在软件定义分布式存储上的调研、分析、测试每年都花费大量时间精力,但始终还是没有大量铺开使用块协议的分布式存储,其中一个最大的原因是“软件定义的分布式存储”在可用容量单价方面相比传统存储贵太多了我们金融企业真心用不起。我想这是阻碍软件定义分布式存储普及的直接核心原因之一。
3、传统集中式存储价格降的很快,加上压缩功能可用容量单价方面会进一步降低。

高可用方面:
1、这里以企业级生产的块协议存储为例。
2、分布式存储高可用方便对比传统SAN存储有明显差距,无论是单节点重启影响,微码升级影响等各方面在IO静默时间IO跌落幅度和长度方面差距太明显了。
3、高可用方面不如传统SAN存储绝对是阻碍软件定义分布式存普及的另一个直接核心原因之一。

性能方面:
1、集中式架构决定性能可做得更好更极致。
2、分布式架构天然上性能不如集中式架构。

运维和故障处理方面:
1、这里以企业级生产的块协议存储为例。
2、我个人曾经有几十PB 几十套软件定义分布式存储(厂商产品)的运维经验:对比传统集中式存储软件定义的设备故障时的影响持续时间和修复难道要高的多。最怕遇到的是软件bug或是某个软件模块服务异常,这种情况一般很难快速修复,甚至要等几天到周的时间等厂商写hotfix 然后打上修复。
3、软件定义分布式一套集群也是一个系统,系统层面的软件的可靠性问题不是多副本多节点多冗余能解决的。
4、相反我个人运维存储最不拍的就是传统存储上硬件故障、控制器down之类的问题,硬件坏是最好修复的。这点传统SAN存储在故障修复效率和运维效率上优势太大了。

存储协议方面:
1、根据我现在的经验建议如果是块协议或文件协议存储,选择传统存储比较合适,其在价格、高可用、性能、运维故障修复、运维管理效率等多个方便优势明显。
2、如果是对象存储基本都是选择分布式存储架构,对象存储协议的和分布式架构的多节点、海量存储优势较契合。

收起
证券 · 2021-06-03
浏览2416
顾黄亮顾黄亮课题专家组技术总监畅销书作者
    不知如何更好的回复题主的问题,针对这个问题,我下载了最新的统计报告,从报告数据进行分析,分布式存储并没有形成比较明显的趋势,集中式存储也没有萎缩,相反,集中式存储的销售额是分布式存储的两倍左右。    仔细研究过,两点原因,基于技术发展的需要,相关的报道偏向于新...显示全部

    不知如何更好的回复题主的问题,针对这个问题,我下载了最新的统计报告,从报告数据进行分析,分布式存储并没有形成比较明显的趋势,集中式存储也没有萎缩,相反,集中式存储的销售额是分布式存储的两倍左右。
    仔细研究过,两点原因,基于技术发展的需要,相关的报道偏向于新兴事务,如分布式存储的热度是集中式存储的N倍。基于场景的需要,不存在集中式存储被消失,在很多企业,尤其传统的且很重要的系统,依然只有集中式存储才能更稳妥且低时延的提供, 因此在低延迟的场景下,集中式存储这种低延迟的架构设计会一直持续下去。
    关于趋势,还是需要跟场景结合,在云计算为代表的容量性场景,是分布式存储的天下,集中式存储会逐渐退出。在以低延迟为代表的特殊场景,是集中式存储的天下,分布式存储现阶段还不能贡献太多的力量。个人认为,随着技术的进步和场景的不断融合,二者会有选择性的进行融合。

收起
银行 · 2021-05-31
浏览2653
s6dongs6dongit技术咨询顾问东软集团
这个问题需要从两个方面:首先,分布式存储在企业核心存储方面的应用前景肯定是越来越来好,但是并不代表会替代传统的集中是存储。其次,从集中是存储向分布式存储迁移肯定是一种趋势,但是并不代表集中式存储将会完全退出数据中心,仍然有其存在的价值。分布式存储和集中式存储在企...显示全部

这个问题需要从两个方面:
首先,分布式存储在企业核心存储方面的应用前景肯定是越来越来好,但是并不代表会替代传统的集中是存储。
其次,从集中是存储向分布式存储迁移肯定是一种趋势,但是并不代表集中式存储将会完全退出数据中心,仍然有其存在的价值。
分布式存储和集中式存储在企业核心存储在未来很长的一段时间内一定是互相共存的一种状态。
1、分布式存储经过多年的技术发展,技术也逐渐成熟,已经完成从边缘非核心业务系统部署到核心系统部署,从为了降低成本和提升扩展灵活性为主打的市场转变为全面发展的市场,产品越做越成熟,原来高端集中式存储具备的快照,复制,重删,精简化配置等高级功能在分布式存储上也悉数具备。可以说,分布式存储相比集中式存储无论从价格、功能、性能、扩展能力还有架构上都非常具有优势,集中存储向分布式存储迁移一定是一种趋势。
2、根据目前分布式存储发展趋势,越来越多集中式存储正在被替代,特别是近几年兴起超融合技术、分布式数据库和大数据等技术的应用和发展,更加推动了分布式存储的普及。甚至在这几种新技术的应用下,非分布式存储技术架构不可,如果选用集中是存储架构,那么可能都无法实施和落地,实施效果也大打折扣。
3、分布式存储具备传统集中式存储诸多无法比拟的优势,但是并不是可以完成对所有的集中式存储设备的替代。我们可以看到目前大部分数据中心仍有大量集中式存储,仍然由新的集中式存储采购需求。造成这种情况的原因并非是分布式存储不够优秀,而是集中式存储和分布式存储都有各自的应用场景和适配应用。
4、从成本来看,集中式存储成本在不断降低,一些不太需要扩展能力的应用,采购集中式存储反而成本更低,而分布式存储至少3节点起步,还得配套相应的软件,价格上无法形成规模优势。从稳定性上看,传统的集中式存储发展历史相比分布式存储时间要久得多,而且分布式存储采购的低端服务器设备,稳定性上也有一定的缺陷。特别是高端集中存储,稳定性肯定要大于分布式存储。从性能上看,分布式存储要获得性能优势,需要有一定的节点数量支撑,如果容量小,只部署3节点的分布式存储系统,性能只能达到中低端集中式存储的水平。从应用范围看,分布式存储比较适合新兴架构的业务系统,例如云原生架构,容器技术、超融合技术、分布式数据库或者需要灵活敏捷扩展的业务系统。
综上所述,分布式存储是一种未来主流的存储技术路线,而且也具备非常好的发展前景,但是在实际的企业数据中心应用场景中,还得需要根据实际的业务需求进行合理化部署,分布式存储并不能适应所有的应用场景,还得需要分开区别对待。

收起
互联网服务 · 2021-06-02
浏览2523
匿名用户匿名用户
集中存储的价格在下降,分布式在价格上优势几乎没有了;分布式依赖高配万兆交换机,产能目前看也是供不应求,短期内的大方向还是集中存储。显示全部

集中存储的价格在下降,分布式在价格上优势几乎没有了;分布式依赖高配万兆交换机,产能目前看也是供不应求,短期内的大方向还是集中存储。

收起
证券 · 2021-06-02
浏览2489
haizdlhaizdl技术经理大连
首先,分布式转型面临的首先要问题是为什么要进行分布式的转型?是不是现有的数据库系统是不是已经无法支撑由于互联网业务转型带来的一系列需求?例如并发性,扩展性和灵活性?如果是那么分布式数据库无疑是我们应该研究的东西。其次来看,核心系统该选择什么样的数据库架构,选择什么...显示全部

首先,分布式转型面临的首先要问题是为什么要进行分布式的转型?是不是现有的数据库系统是不是已经无法支撑由于互联网业务转型带来的一系列需求?例如并发性,扩展性和灵活性?如果是那么分布式数据库无疑是我们应该研究的东西。

其次来看,核心系统该选择什么样的数据库架构,选择什么样的存储架构完全是取决于其数据及业务特点。就金融行业来讲,核心系统大部分都是非常重要的交易系统,数据也都是二维表结构,这种场景下,业务的实时准确性,数据的一致性,处理的性能都是其核心指标。

接下来,再看存储架构的原理,集中式架构的存储采用的块儿机制,以块儿为单位实现数据的更新和锁机制,其机制跟数据库管理数据文件的方式可以说是比较协同一致,那么性能及安全也就自然可以保障。这也是大家选择它那么多年的理由。分布式架构现在常见的有两种做法,一种是基于对象存储机制实现的分布式架构,一种是基于分布式文件系统实现的分布式架构。从性能上来讲,从对象转换为块儿,增加一层映射,从锁的粒度上来讲,一个字段最后造成一系列寻址和对象转换才加上锁。从安全稳定性上讲,一个核心系统需要的节点规模有多大?规模越小,其中任何一个节点的变化都会对整个系统有不小的影响 具体可以研究研究其集群算法。

由此可见,选什么需要从业务场景本身出发,考虑其业务要求和数据特点。不能为了所谓的先进性趋势而不假思索的追逐,毕竟穿鞋得找合适的,不一定时尚的一定适合你。

收起
银行 · 2021-06-02
浏览2546
dadaxudadaxu系统工程师X互联网
个人认为分布式存储不会取代集中式存储,毕竟还是要根据不同常见,使用不同存储。并且目前IT系统还是由稳态IT系统和敏态组成,分布式存储局限于网络协议,毕竟稳定性相对于传统的FC或者集中式稳定性会差一些...显示全部

个人认为分布式存储不会取代集中式存储,毕竟还是要根据不同常见,使用不同存储。并且目前IT系统还是由稳态IT系统和敏态组成,分布式存储局限于网络协议,毕竟稳定性相对于传统的FC或者集中式稳定性会差一些

收起
互联网服务 · 2021-06-02
浏览2571
沈天真沈天真售前支持IPS
主要看应用场景;具体问题具体分析;分布式存储最开始,也是发现集中式存储在某些场景下性能跟不上,尤其是大数据量+高并发访问场景,还有一点是成本,高端集中式存储卖的太贵,聪明人就想着如何降成本了。...显示全部

主要看应用场景;具体问题具体分析;分布式存储最开始,也是发现集中式存储在某些场景下性能跟不上,尤其是大数据量+高并发访问场景,还有一点是成本,高端集中式存储卖的太贵,聪明人就想着如何降成本了。

收起
硬件生产 · 2021-06-01
浏览2556

提问者

eversmily
数据库管理员浙江一鸣食品股份有限公司
擅长领域: 存储云计算灾备

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-05-27
  • 关注会员:10 人
  • 问题浏览:5816
  • 最近回答:2021-11-09
  • X社区推广