wanggeng
作者wanggeng2021-11-30 15:25
系统运维工程师, 某银行

集中式存储 or 分布式存储,城商行容器云平台存储架构技术路线选型探讨

字数 18097阅读 892评论 0赞 1

当前城商行伴随云计算、大数据、人工智能等技术的发展,特别是受去年疫情影响,很多业务由线下转为线上,在新业务形态、需求、创新等方面都对现有IT架构提出新的挑战,同时也带来了企业对IT基础设施的敏捷化需求。当前多数金融行业企业在云计算建设主要集中在IaaS和PaaS,目标是为降本增效,同时为上层业务的快速创新和迭代提供有效支撑。传统的IaaS主要集中在计算、存储、网络等基础设施层面,资源调度颗粒度粗,资源使用率提升并不明显,随着技术发展和开源社区的成熟,企业建设方向从IaaS转向PaaS,而且容器、Kubernetes、微服务架构等新技术在弹性伸缩、资源使用率提升、业务快速迭代、运维效率提升等方面表现出色,容器化需求在金融行业由试用转向大规模推广应用,建设企业级容器云平台也成金融行业新一代基础架构。

在容器化建设过程中,同时需要对数据也进行存储、迁移,需要一套高可用存储架构、持续性据存储。那么存储的架构选型显得尤为重要,目前集中存储具有稳定可靠性好,数据服务丰富,如有良好的数据一致性存储容灾解决方案,接口标准兼容性广泛,性能强等优点。同时存在着 扩展性等方面的限制。分布式存储,扩展集群规模大,硬件成本低廉,同时也存在着单节点性能低,延时高 , 数据弱一致性,标准不统一且非常依赖网络环境和带宽,如果网络发生抖动或者故障,都可能会影响分布式存储系统运行。分布式存储和集中式存储主要区分可在业务类型上,分布式存储主要的特点在扩展性和高并发下的聚合带宽上,集中式存储主要特点在IO处理能力和延迟上,所以银行在容器云平台的存储技术路线的选择上是尤为重要的,就需要根据自己的业务量、业务特点等方面进行评估考量。

本期线上同行交流,twt社区会邀请银行行业的专家和DELL科技的金融专家进行线上的分享和解答,希望给大家带来有价值的参考。交流回顾:https://www.talkwithtrend.com/Activity/index/op/question/id/1817 

以下内容是本场交流的精彩总结!

一、分布式和集中式存储的对比

分布式存储和集中式存储各有哪些优缺点?在性能、安全性方面又有哪些区别?分布式存储对协议和接口的支持情况,以及分布式存储运维管理达到的水平。

1.     集中式存储分布式存储优缺点对比?

集中式存储分布式存储优缺点对比,分布式存储是否是未来的方向

嘉宾:wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
集中存储和分布式存储目前都在广泛应用,对大多数城商行用户而言,不会只有一种形态的存储存在。
集中存储发展成熟、可用性高、易于管理维护,分布式存储是后起之秀,采用分布式横向扩展体系架构。用户应该根据各家银行的发展规划、实际的应用需求进行选择,根据稳态和敏态等不同业务各自的需求特点进行选择。

嘉宾:潘延晟  系统工程师 , 第十区。散人
其实就好像早些年讨论超融合是否会替代传统的服务器架构一样。分布式和传统的集中式存储各有各的优缺点,应用的场景也有各自的的特点。当企业应用规模不大,没有特殊业务需求的情况下。两者是在一定程度上都能满足的。但随着业务的发展到一定规模时,两者的区别也会越来越明显。选择性也越来越明确,集中式存储io性能更好,架构稳定。可靠性高。适用在海量计算的数据库环境中分布式存储扩展性好。维护简单,适用在对IO要求不高,容量大,文件多的非结构化数据环境中。

2.分布式存储和集中式存储的性能对比如何,分布式存储的各种技术路线性能对比如何?

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
如果在数据结构之外谈性能,将会毫无意义,抛开数据结构和场景之外,从国外权威的测试结果看,集中式存储和分布式存储的性能都能满足基本上所有的场景需求。

回到性能,一般来说,存储的性能单元分为三种,一般性能块存储、均衡性能块存储、高性能块存储。存储自身也分为全闪或混闪,提供服务能力的是计算平台。因此性能是一个综合性的话题,需要根据实际情况和预算对性能进行选择,所以选择存储或者技术路线,是由性能指标和投入成本决定的。

3. 集中式存储和分布式存储的安全性?分布式存储的数据安全性是否较集中式存储更安全?信息的调取时效性,集中式是不是会较分布式存储更快?

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
毫无疑问,集中式存储的安全性更高,这个论点是基于集中式存储和分布式存储都有足够强的容错机制下。
为什么说安全性更好,有几个理由,如果我们将存储作为一个终端,集中式存储是通常是一个一体化的终端,使用专用的操作系统,而分布式存储是X86终端,使用通用的linux系统,在病毒的防护方面,集中式存储具备天然的优势。
在全局时钟方面,这是分布式存储绕不开的问题,由于分布式存储软件管理众多的X86服务器, 缺乏一个全局的始终控制序列,可能会导致一些极端场景下的一些问题,而集中式存储不会。
在信息调取时效性方面,并不存在集中式比分布式快的情况,如果极端的场景,比如说每秒过万的TPS,比如银行的海量数据跑批,会出现这样的情况,这是副本机制导致的。

4. 目前分布式存储对协议、接口、主流编程语言的支持力度情况如何?

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
推荐一本讲分布式对象存储系统的书,书名是《分布式对象存储——原理、架构及 GO 语言实现》。代码是用go实现的,但是大体的思路和应该实现的功能都讲到了,还是不错的。至少在思路指导上。还有这种系统业界的标准是亚马逊的 AWS s3 那么参考它们的 SDK API 来一一实现是有必要了。里面就有很大篇幅的协议和接口的内容。

嘉宾:wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
分布式存储涉及的面比较广泛,主要是块、文件和对象三大类。文件的接口主要是nfs和cifs,对象的接口主要是s3和swift。

5. 分布式存储在运维方面较集中式略复杂,国内厂商在分布式存储解决方案上,是否能达到或接近vSAN的水平?

嘉宾:wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
分布式存储是目前的热点,分布式系统技术比传统集中系统更复杂,需要复杂的技术来平衡一致性、分区、可用性、高性能等各个方面,对传统的运维方式提出新的要求。vsan是优秀的分布式存储解决方案。除此之外,国内外都有优秀的产品,可以了解Dell Emc的isilon 和powerflex等。

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
完全达到了,Vsan其实比较局限,只能为ESXI主机提供文件存储服务,或者说只能为VMWARE虚拟机提供文件服务。而国内的很多分布式存储产商的解决方案,在丰富度上,是远高于Vsan的。

二、在容器云平台建设场景下,分布式和集中式存储的对比

容器云平台存储与云计算平台的存储有什么区别,规划上如何考虑,哪种更适合,有哪些优劣势,看看大家如何讨论。

1. 容器云平台存储与云计算平台存储的主要区别点是什么?

容器云平台存储与云计算平台存储的主要区别点是什么?

嘉宾:NealZhang  CPS , 戴尔科技金融行业解决方案中心
简单来说,容器云平台是云计算平台的一种实现方式,一般定义为CaaS容器即服务,当然也可以基于容器云平台提供应用平台服务PaaS以及软件平台服务SaaS。

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
本质上没有区别

2. 容器云平台的存储的选择上是否有区别,在规划上需要如何考虑?

容器云平台的存储主要有以下部分:容器云平台自身需要的存储、应用数据持久化存储、镜像存储、中间件存储等,这些存储的选择上是否有区别,在规划上需要如何考虑?

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
首先,我们要了解集中式存储和分布式存储有哪些优点,相关的资料在网络上非常多,在此不再多赘述,总体而言,二者核心的选型关键在于几点。
(1)、硬件标准化,或者说硬件非标的比率方面,如果硬件标准化完成,建议选择分布式存储。
(2)、容量和性能可以水平扩展的需求,对于数据增长不规律或者突增的情况下,建议选择分布式存储,只有分布式存储才能更好的适配数据快速增长的要求。
(3)、 存储生命周期,一般而言,集中式存储的生命周期大概在8-10年左右,超过10年的风险就较大,而分布式存储可以通过批量的硬件迭代完成存储生命周期的重构。
(4)、 业务友好,两者对业务都非常友好,如果有一些海量数据归档、 底层操作、数据隔离的需求,分布式存储更好一些。
以上是二者在选择性方面的考虑。

嘉宾:集中式存储适合场景:
集中式的存储依然是目前不可替代的,一般用于企业的生产、办公等交互频繁的关键业务。因为集中存储效率高,速度快,这是分布式存储不具备的优势,分布式由于数据分布在不同的区域保存,应用存取自然会损耗一定的存取时延。
集中式存储的物理介质集中布放;数据要上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。
传统的SAN存储,面对PB级规模存储时,成本非常高,数据共享差,难以支撑多用户文件共享。
常见的NAS存储,由于共享网络带宽,并发性能差。
分布式存储适合场景:大数据、时序数据库,列式数据库,非结构化数据,搜索引擎索引等。海量数据的非结构化数据最适合分布式存储,加快系统的读写速度,提高系统的容错性和可用性。
分布式存储的物理介质可以分布到不同的地理位置,数据就近上传,对骨干网带宽要求低;可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低;小容量设备分布部署,对机房环境要求低。

嘉宾:NealZhang  CPS , 戴尔科技金融行业解决方案中心
从需求上,容器云平台需求简单分成容器运行存储,容器应用存储以及应用开发存储,它们的需求完全不同,如容器应用根据应用的需求对存储的需求也大不相同,包含性能,容量,扩展性,高可用性等等。

3. 集中式存储和分布式存储哪个更适合部署容器云平台?

集中式存储已经稳定运行多年,分布式存储近年来也发展态势迅猛,对近期比较火的容器云平台哪类存储更加适合?选择依据是什么?不通类型的存储对于容器云平台部署是否有限制?

嘉宾:NealZhang  CPS , 戴尔科技金融行业解决方案中心
这个问题可以从多个角度来看:
容器本身是开源的项目,从这个角度来说,同样源于开源的分布式存储更适合,但是有一个问题:容器云一旦用于生产环境,客户是选择采用类似于云厂商的基于开源架构自己运维,还是选择企业级的产品组合架构?
另一个简单的场景,现在单个磁盘容量越来越大,单节点服务器的容量越来越大,若客户的容量需求在几个节点就能满足的情况下,是使用分布式还是集中式?需要从管理,运维,成本,性能等综合来考虑。

嘉宾:系统运维工程师 , 北银金融科技有限公司
容器云存储的选型,还是要根据承载的工作负载进行具体分析。譬如在容器云上部署关系型数据库,且数据库的数据是重要的业务系统数据,则选择集中式存储为宜。如果是业务应用系统的日志,或者是配置文件,则建议优先选择分布式存储,在扩展性和成本收益上更佳。 所以需要客观评估选择自己适合的就可以。

嘉宾:集中式存储适合场景:
集中式的存储依然是目前不可替代的,一般用于企业的生产、办公等交互频繁的关键业务。因为集中存储效率高,速度快,这是分布式存储不具备的优势,分布式由于数据分布在不同的区域保存,应用存取自然会损耗一定的存取时延。
集中式存储的物理介质集中布放;数据要上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。
传统的SAN存储,面对PB级规模存储时,成本非常高,数据共享差,难以支撑多用户文件共享。
常见的NAS存储,由于共享网络带宽,并发性能差。
分布式存储适合场景:大数据、时序数据库,列式数据库,非结构化数据,搜索引擎索引等,海量数据的非结构化数据最适合分布式存储,加快系统的读写速度,提高系统的容错性和可用性。
分布式存储的物理介质可以分布到不同的地理位置,数据就近上传,对骨干网带宽要求低;可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低;小容量设备分布部署,对机房环境要求低。

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
脱离了场景谈适合,本身就不适合。
给出一点参考意见, 存算分离场景和融合模式场景。
(1)存算分离,架构比较容易理解,计算端和存储端各自建设,通过存储协议连接(iSCSI、NVMf),架构扩容相对独立,适合较大规模的金融机构基础架构建设。(计算与存储资源需求不均衡场景)
(2)融合模式,将分布式存储前移,与计算端(虚拟化/容器)融合,共用底层服务器,将原来的三层结构减少到二层,扩容节点,同时扩容了计算和存储能力,较适合中小型金融机构的基础架构建设。(计算与存储资源需求相对均衡场景)

4. 分布式存储在容器云场景下较集中存储有哪些优劣势,以及是否有成熟可落地的容灾建设方案?

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
为什么选择分布式存储系统?
(1)、云计算时代,传统存储不能满足虚拟化、容器对存储的需求
传统存储缺少灵活性,虚拟机、容器的部署及其负载是快速变化的,并且容器还是快速迁移的。
传统存储缺少自动化
传统存储缺少细粒度控制
传统存储的配置是非常严格的
(2)、构建存储的 TCO( 总拥有成本 ) 十分高昂
数据量成指数级增长,但存储的预算却没有相应的增长,传统存储的价格是无法承受之痛。
数据规模快速增长,企业往往需要过度预算,过度采购,因为传统存储的扩展,升级和替换是十分昂贵的。
(3)、高昂的存储系统运营成本 (OPEX)
需要专业的存储管理团队,不仅需要学习专业的存储知识,还要学习存储厂商指定的技巧。
处理存储系统问题是相当花费时间。
当然开源分布式存储系统,只解决了第 1, 2 点,第 3 点并没有得到有效的解决,反而有点加深的趋势。

5. 分布式存储和集中式存储在支持容器云平台方面运维复杂度对比?

分布式存储在支持容器云平台较集中式存储在后期运维管理方面时更简单还是更复杂?能否从运维管理角度做几个对比说明?

顾黄亮  技术总监 , 苏宁消费金融有限公司
总的而言,分布式存储的运维更难一些。
主要两个方面,分别是技术难度和运维便捷度。
技术难度: io的读写,集中存储中数据只要写入一个磁阵就算成功了,分布式存储中是写入大部分的节点才算成功,如果写入全部节点IO性能有影响,写入少量节点即是写入失败。这是一个方面,还有一个方面,可靠性保障,集中式存储是一体机,而分布式存储是若干台X86,也可以说若干个终端,有非常突出的终端安全问题。
运维困难:监控上,要采用分布式prometheus来采集各个节点的数据,节点多的时候,监控范围较大。出现故障时, 要判断节点与节点间的相互作用,诊断难度加大。数据平衡上,集中式存储的数据复制通过硬件进行,分布式存储通过软件算法进行,因此海量数据平衡容易导致业务的波动,这是目前分布式存储遇到最大的问题之一。

NealZhang  CPS , 戴尔科技金融行业解决方案中心
集中式存储是专用的存储设备,更符合专用特定应用的场景,在专用特定应用场景下运维也会相对简单。
分布式存储是软件定义的存储,可以通过软件定义实现标准化和自动化,从而加快云化服务,从IT整体场景下,更符合现代化运维的标准,在大规模复杂场景下运维相对简单。
而且运维不只是想关于技术,而且于人和流程密切相关,在传统的IT运维流程下,分布式存储也不一定会简单,因为会涉及多个团队和技术。

6. 容器云平台频繁挂载,是否会导致整个存储平台的卡顿直至崩溃?

容器云平台频繁挂载,是否会导致整个存储平台的卡顿直至崩溃?

顾黄亮  技术总监 , 苏宁消费金融有限公司
理论上是不会的,容器云对分布式存储进行挂载是通过协议的方式进行的,协议是存储插件API的核心。比如说,Docker 对存储卷定义了一组简单的接口,外部存储只要实现简单的接口便可以和外部存储对接。 Docker 容器是通过 mount 的方式将外部存储挂载到本地目录,尽量使内部应用程序对存储是无感知的,应用程序就像使用本地目录一样使用外部存储卷,而将外部存储的管理交给存储 Plugin 负责(如 Flocker、Rancher Convoy,REX-Ray 等)。

嘉宾:NealZhang  CPS , 戴尔科技金融行业解决方案中心
存储挂载可以看成是协议对话连接,主要看连接协议的稳定性和健壮性,以及和CSI的兼容性。

7. 传统存储运维人员如何应对容器有状态应用的扩展带来的运维压力和挑战?

容器云平台运维管理需求:随着容器有状态应用的增长,对传统存储运维工作也会带来挑战,整体方案需要兼顾运维敏捷和安全。所以在存储架构选型上需要如何进行考虑和兼顾?毕竟传统存储运维人员随着设备的增加以及技术的更新引入,应该如何能更好的把握?

嘉宾:NealZhang  CPS , 戴尔科技金融行业解决方案中心
其实不光是针对容器平台,现在的IT运维人员主要面对的挑战包含两个方面,一个是数据中心的现代化,也就是如何采用新的技术进行创新,一个是混合多云的运维,就是如何在边缘-数据中心-多云平台进行统一的运维。
自动化运维是其中无法回避的,但异构架构的自动化运维是非常挑战的,这也是为何大量客户会采用和云厂商相似的超融合和分布式架构,因为自动化的前提是要先做标准化,所以软件定义存储会是业内重要的趋势。

嘉宾:wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
随着容器云扩展,有状态应用的增长,银行用户还需要考虑容器的容灾和备份。需要保护容器云的配置信息状态信息,如etcd,需要保护有状态的信息,如pv等。数据保护和容灾方案往往与存储技术相关,建议在设备选项之初考察存储设备的容灾、备份技术,能否与容器云的保护方案相互配合。

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
最通用的说法,普通的运维人员对于分布式存储的运维方式有下列方式。
(1)、保障性运维,关注在节点服务器的稳定运行,如机器,磁盘,SSD,RAID卡,电池等等,这些关键组件的状态监控;故障后及时的处理。
(2)、标准化故障处理、增加节点的流程。
(3)、建立存储服务交付,存储使用配额的管理等等。
如果是运维架构师或者运维团队负责人,我建议还需要考虑一些场景。
(1)、分布式存储对不同场景的可用性和可靠性指标,如数据库场景,大数据场景以及IO密集型场景。
(2)、容器云的存储插件原理,RESTful API的步骤和顺序,如握手、挂载、寻址、卸载、删除以及volume的一些内容。
(3)、数据规模的预测和容量管理。

三、当前银行业务场景下,分布式存储架构引入的必要性和适用场景

当前银行业务中,已经建设有成熟的存储解决方案是否还有必要引入分布式存储架构,特别是中小银行机构是否有必要,改造的技术路线如何选择。分布式存储在银行业务系统中心的适用场景有哪些?听听专家的意见

1. 中小银行进行存储架构改造的必要性?

中小银行在已有Powervc、虚拟化资源池等架构基础上,是否有必要进行架构改造、如何核算相关改造的投入产出比及是否应进行全部替换式改造?

嘉宾:潘延晟  系统工程师 , 第十区。散人
我觉得对存储架构的改造是否必要主要要看以下几点,
(1) 业务的重要程度,虽然提到是中小银行,但毕竟是金融行业,对数据是比较敏感的,所以我觉得在这点上入如果是我,那么还是尽可能的考虑安全可行的存储架构以及容灾方案,毕竟对于银行来说丢失数据可不是闹着玩的。
(2 )技术现状,充分评估现有的存储架构,业务系统以及设备健康程度等因素,考虑是否现有的存储架构存在安全风险,是否具有良好的扩展性和可替换资源,是否可以增加容灾架构来提高系统的可靠性,如果存在风险则要进一步考虑改造的必要性。
(3)资金和运维技术储备,如果现有的架构存在老化,陈旧,架构无法升级,设备无法更换等隐患时,那就应该尽早考虑改造方案。综合资金投入和运维技术的现状选择最适合的技术架构来消除隐患

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
如果说必要性,其实有一个方法论进行概括,只要命中其中的条件,都可以进行改造。
(1)核心应用在数据存储中面临的挑战
当前存储设备已使用多年,无论是存储设备可靠性、存储容量、性能以及扩展性都已无法满足当前以及未来业务需求。
(2)核心应用业务连续性面临的挑战
如果核心存储设备为单台架构,可能会带来了数据可靠性与安全性双重压力,尽管这些存储本身内部通过RAID机制对存储磁盘做了一定的安全保障。
(3)核心应用数据保护面临的挑战
核心业务系统针对核心生产数据的安全和保护措施不够健全。
(4)原有投资的合理保护和利用
在系统升级,设备更新换代,新设备上线后,原有设备的淘汰必然会造成较大浪费,无形中降低了系统的投资回报。能否在系统升级后,对原有设备能否合理的利旧。

2. 中小城商行存储架构改造技术路线选择?

中小城商行在存储架构改造过程中的技术路线选择:
针对银行传统应用,在存储架构改造实施过程中,应如何考虑迭代,先外围系统后重要业务类系统or根据系统重要程度进行批次改造

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
分布式和集中式存储有各自使用的业务场景和访问特性,并且提供不同的性能、接口方式和数据保护方式,应根据业务特性选择适合的存储类型,考虑到业务数据不断增大、对性能和容量的要求不断增多,如果前期没有选择适用的存储类型,后期进行存储改造的难度和成本将是非常巨大。

核心业务选择集中式存储,集中存储发展时间长,各种高级特性相比分布式存储更加完善以及安全,可保证核心业务的业务连续性。其他非核心业务可以选择共用集中式或分布式存储。复用要求高、架构要求灵活扩展建议使用分布式存储。业务数据规模稳定、需求场景单一建议采用传统集中式存储。

3. 金融企业集中式存储容量性能已满足要求,是否还有必要引入分布式存储,如要引入,主要用在哪些场景?

集中式存储比分布式存储更稳定,且价格越来越便宜,对于中小城商行而言,数据量和增量远不如大行,集中式存储的容量已能满足数据存储容量的要求,在此情形下,是否还有必要引入分布式存储,如要引入,除了大数据平台外,还适合用在哪些场景?容器云平台如果采用分布式存储对城商行来说运维压力和风险是否能很好控制?

嘉宾:匿名用户
集中式和分布式是目前数据存储的两种架构,各有侧重和适配场景,在您的问题中,聚焦在中小城商行的存储架构设计和建设的思考,下面我基于此给出一些个人的思考和分析,供参考。
IT基础架构视角(企业云)
虚拟化平台(服务器虚拟化(生产、开发测试、容灾)、桌面虚拟化(办公、开发、运维))非常适合使用分布式块存储,主要特点就是可以根据业务发展,架构按需投入,敏捷交付,灵活扩展,弹性伸缩,分布式存储采用标准化服务器(与前端虚拟化采用相同的底层架构)使运维更加简单透明,通过软件驱动[1]结合不同类型存储介质、技术[2]的组合,实现高性能、高可靠、高可用的存储资源池。
容器平台,目前对于很多城商行都在或多或少的验证和使用,两类容器(有状态和无状态),对于有状态容器,分布式块/文件存储都有各自的适配特点,例如分布式块存储可以很好的支持数据库类应用(MySQL、PG、Mongo……)未来看DBaaS会是一个主要的场景,分布式文件存储可以支持有共享文件需要的容器,例如AI类业务,分布式的优势在上面的虚拟化也有介绍,换一个角度,分布式存储可以看作云原生的一种应用形态(云原生存储[3]),通过声明式API管理和运维,极大的简化了管理运维复杂度。
物理机/小机平台,通常运行着核心业务和一般业务系统(传统架构),对于一般业务系统也因各种原因不能迁移到新型的计算平台,对于这样的业务应用,维持在传统的集中存储架构是很多用户比较主流的方案选择。

分布式存储有两种部署方式
存算分离,架构比较容易理解,计算端和存储端各自建设,通过存储协议连接(iSCSI、NVMf),架构扩容相对独立,适合较大规模的金融机构基础架构建设。(计算与存储资源需求不均衡场景)
融合模式,将分布式存储前移,与计算端(虚拟化/容器)融合,共用底层服务器,将原来的三层结构减少到二层,扩容节点,同时扩容了计算和存储能力,较适合中小型金融机构的基础架构建设。(计算与存储资源需求相对均衡场景)

[1]软件驱动
软件定义,与服务器硬件充分解耦,不仅可以提供更灵活的硬件选择,快速整合最新硬件技术提升整体系统能力。
[2]存储介绍和技术
SATA SSD、NVME、Intel DCPMM、RDMA、NVMf、10GE/25GE/100GE以太网卡……
[3]云原生存储
分布式存储引擎 +Kubernetes Operator+CSI ( Container Storage Interface )

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
对于中小银行而言,选择集中式存储更好,理由有三点。1、集中式存储随着国产化的发展,性能越来越高,价格也越来越低,维护相对而言也比较简单。2、双活机房或灾备的建设方面,集中式存储省去了很多中间步骤,相应的维护工具也比较成熟。3、由于中小银行的技术相对而言比较薄弱,因此集中式存储在备份,传输的环节管理比较简单。4、安全性考虑,集中式作为一体化终端,不容易感染病毒。
如果引入分布式存储,窃以为,主要有几点考虑。1、必须和容器云相结合,才能够满足技术和管理的双重要求。2、必须在硬件标准化的基础上,才能发挥最大的作用。3、必须有容量和性能可以水平扩展的需求,否则技术的迭代和扩展会带来新的运维压力。
场景方面,除了IO密集型的场景,比如银行的日终跑批,基本上都适合。

嘉宾:cpc1989  存储工程师 , 某保险公司
第一个问题,评估引入分布式存储的必要性可以从是否引入了新的业务应用场景、IT基础架构的变化 以及分布式存储与新架构场景的契合度这样三个因素来考虑,在容量性能成本均满足的情况下,也只有在新场景和新架构的条件下才有必要去引入分布式存储。
第二个问题,分布式存储非常适用于大数据量的场景,对于一些IO延时不敏感的场景,比如虚拟化场景或者轻量级数据库,契合度也很高,主要的劣势是IO延时及稳定性方面有欠缺。
第三个问题,容器云平台的话采用云原生的分布式存储方案更加契合。

嘉宾解答:集中式存储和分布式存储并不是一个对立,使用集中式存储的同时也可以采用分布式存储,使用场景根据实际业务需求而决定。
虽然集中式存储的控制器性能已经足够强大,但是受限于当前存储介质和存储技术的缓慢增速,集中式存储的横向性能扩展相对比较繁琐,但其稳定性和可靠性上限特别高,适合金融核心业务的支撑。
分布式存储强势之处在于扩展灵活,增加节点就可以在线动态扩展,相对于集中式存储,分布式在同一价格层级实现的性能与容量的设计比中低端集中式存储要高不少,并发性能可玩性高,因此这也是吸引企业尝试分布式存储的一个重大关键。
当然,集中式存储通常为专业架构加上定制化,稳定性和可靠性以及性能的平衡已经达到极致。分布式存储多是以服务器来搭建,服务器本身的制造标准比存储就低不少,加上还有分布式软件,因而在稳定性和可靠性以及性能三者平衡取舍上不如集中式存储。这也是分布式存储带来的主要运维压力。

至于分布式的场景,现在比较主流的业务场景比如BI经营分析,BD大数据,影像等,也都比较多,是否采用取决于企业对这些业务场景的需求迫切度。不少企业也尝试为虚拟化,容器等配置分布式存储作为创新,在这两处场景分布式存储和中端存储旗鼓相当,甚至分布式存储的性能和成本优势会更加突出一点。

嘉宾:匿名用户
关于双模架构和敏稳类型的讨论就不过多赘述,聊聊适合分布式存储架构的场景:
1、私有云/混合云/容器云,实际上这类基础架构通常需要应对的是业务高速增长带来的快速满足需求,基于分布式架构如果采用标准化硬件设+软件管理的方式,可以大幅缩短项目时间周期
2、影像类/大数据/数据湖/备份,这部分属于容量高速增长且长期保存,是个持续增加的场景,从简单的存放到更偏向数据梳理,充分利用数据的价值以及合规要求,对于数据的生命周期来讲,采用分布式架构及软硬解耦的方案,可以更好的进行数据管理;另外通过多维度数据分层技术,将数据分发到不同性能的存储或公有云,且可以满足任意位置的数据访问,对于非结构化数据有更灵活治理方式
另外,对于目前传统存储应用最多的跑批业务,分布式全闪在网络和SSD进一步升级的情况下,也可以摸到门槛去做替换尝试了;最后在运维层面,产品化的东西终归是要好很多,不过越来越多的金融机构开始考虑设计存储资源云化管理系统,用来解决大量和异构存储的使用、运维管理问题

嘉宾:wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
主要根据银行自身的需求和实际的应用规模来选择,对于城商行而言,如果集中存储存储的容量和性能等都能够满足需求,还需要考虑管理和维护等, 毕竟引入分布式存储,新引入的技术栈势必增加管理维护的工作量。

嘉宾:YDX147258369  系统运维工程师 , 北银金融科技有限公司

这个还是要根据承载的工作负载进行具体分析。譬如在容器云上部署关系型数据库,且数据库的数据是重要的业务系统数据,则选择集中式存储为宜。如果是业务应用系统的日志,或者是配置文件,则建议优先选择分布式存储,在扩展性和成本收益上更佳。 所以需要客观评估选择自己适合的就可以。

嘉宾:潘延晟  系统工程师 , 第十区。散人
对存储的扩展主要还是要根据现有业务和将来可能发生的业务,按描述来看。如果目前集中存储能够满足数据存储的要求,重点:并且在未来几年之后能够满足业务的增长,那么则不是必须要引入分布式存储,毕竟银行的业务首要的是稳定和高io运算,分布式存储更多的应用场景倾向于非结构化的业务,虚拟化,或者影像,文件。即使引入分布式,也应该是侧重在虚拟化业务层,或者是银行的双录存档方面,传统的业务数据库可以保留在集中式存储上。当然。一切的规划还是要看实际银行现有业务,未来扩展需求,资金投入和技术储备。

嘉宾:匿名用户
从一些实践经验来看,如果规模不大,优先考虑集中式存储,维护简单,运维成本低。当形成超大规模以后,会促生分布式存储需求,因为其更加灵活和动态,但是会带来很大的技术学习成本,故在短期内不建议实施,呈现一定规模后可考虑。

嘉宾:赵海  技术经理 , 大连
分布式存储其主要的优势就在于其扩展性和并发处理能力的考虑,其不足就在于其并发控制机制对于数据的一致性要求上略低。所以,分布式选型上要充分考虑这两点。
另外,如果单从数据存量上来考虑问题,可能略显不足。因为业务和应用是在不断发展的,如果能判断某一个业务或应用的未来发展趋势,那么我们的判断是理智的,如果不能,那就需要用发展的眼光去看。

4.银行业务中,哪些场景比较适合集中式存储,哪些场景适合分布式存储?

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司

在集中式存储无法满足业务的扩展需要场景下,需要使用到分布式存储。集中式的软硬件资源始终有瓶颈或极限。而相对于集中存储方式或架构来说,分布式存储可以根据需要进行资源弹性的水平或垂直扩容来应对更多业务数据的存储或者计算。

在具体的场景方面,如果在银行业务中,涉及跑批的,建议使用集中式存储,其他业务,均可以通过分布式存储承载。

嘉宾:匿名用户
集中式存储适合场景:
集中式的存储依然是目前不可替代的,一般用于企业的生产、办公等交互频繁的关键业务。因为集中存储效率高,速度快,这是分布式存储不具备的优势,分布式由于数据分布在不同的区域保存,应用存取自然会损耗一定的存取时延。
集中式存储的物理介质集中布放;数据要上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。
传统的SAN存储,面对PB级规模存储时,成本非常高,数据共享差,难以支撑多用户文件共享。
常见的NAS存储,由于共享网络带宽,并发性能差。

分布式存储适合场景:
大数据、时序数据库,列式数据库,非结构化数据,搜索引擎索引等
海量数据的非结构化数据最适合分布式存储,加快系统的读写速度,提高系统的容错性和可用性。
分布式存储的物理介质可以分布到不同的地理位置,数据就近上传,对骨干网带宽要求低;可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低;小容量设备分布部署,对机房环境要求低。 

5. 城商行哪些业务的数据存储需要分布式架构?

应用容器化过程中,针对一般规模的城商行的业务,哪些系统需要用到分布式存储架构,在云化过程中,会有哪些影响,通常有状态服务不应该在容器运行吧。

嘉宾:wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
近年来,看到许多城商行客户在历史数据查询系统等分布式架构应用建设的成功案例。大数据是当前行业热点,构建在 hadoop 分布式架构的大数据系统能够让海量历史数据 “活起来”,消除数据孤岛,充分发挥数据资产的价值

嘉宾:顾黄亮  技术总监 , 苏宁消费金融有限公司
需要根据核心系统架构本身决定。传统核心系统大多采用的还是传统的集中式架构的存储,分布式核心系统多采用分布式数据库和分布式存储架构。可以咨询 贵 单位核心业务系统厂商未来业务发展和研发方向。
目前采用全闪的集中式存储的性能和扩展性对于一般的银行的核心系统来说一般都是没有问题的,核心系统的瓶颈一般很难体现在存储端(传统机械盘除外),主要还是考虑核心系统数据库数性能的优化。对于中小银行而言,集中式存储基本满足。
目前有很多分布式存储应用于金融行业,只是存储本身架构采用分布式架构,多副本技术,但是对于我们来讲是感受不到的,上层跑还是我们的传统系统,也不需要很多的维护。另外还有一些大数据、大容量备份存储也采购分布式存储。
为应对互联网金融业务快速发展,可以以传统业务体系为基础,建设新的互联网金融业务核心系统,形成传统集中式和分布式架构并存的 “ 双核心 ”IT 架构。原来的核心系统是作为稳态的系统,仍然采用传统数据库 + 高可用的全闪存储;互联网金融作为敏态的系统,采用互联网金融整体解决方案,架构不单单体现在存储是分布式,而是整个体系的分布式。

嘉宾:NealZhang  CPS , 戴尔科技金融行业解决方案中心
一般来说,业内会把应用分成稳态和敏态,敏态的业务由于具有无法预估性能和容量需求的特性,比较适合分布式架构软件定义存储架构。

四、银行容器云平台建设存储选型:集中存储还是分布式存储对比

分布式存储在银行容器云平台中有哪些适用场景?银行系统在选择容器平台的时候存储是选择集中式存储还是分布式存储?某些业务做容器化改造的注意事项有哪些?

1. 银行创新业务扩展能力通常都是横向扩展,需要容器云具备这种能力,那么底层存储架构设计上如何规划 ?

顾黄亮  技术总监 , 苏宁消费金融有限公司
分布式存储系统采用可扩展的架构,不仅能提高存储的效率和数据的安全性,还可以进行性能和容量的横向扩展,解决大规模、高并发场景下的存储访问问题。

2. 银行容器云平台存储技术路线如何选型?集中式存储or分布式存储,选型依据有哪些?

wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
存储选型与应用需求的容量、性能、功能、可用性、易维护性等等有关系,对于城商行来说 每个银行的应用情况不一样,运维管理团队配置不同,可以根据实际的情况来决定。
考虑选择集中存储和分布式存储时候,还需要考虑应用规模。因为分布式系统的优势在于规模效应,规模越大收益越大,较小的分布式系统规模,不利于发挥规模效应,同时增加了运维管理的难度。

顾黄亮  技术总监 , 苏宁消费金融有限公司
首先,我们要了解集中式存储和分布式存储有哪些优点,相关的资料在网络上非常多,在此不再多赘述,总体而言,二者核心的选型关键在于几点。
1、硬件标准化,或者说硬件非标的比率方面,如果硬件标准化完成,建议选择分布式存储。
2、容量和性能可以水平扩展的需求,对于数据增长不规律或者突增的情况下,建议选择分布式存储,只有分布式存储才能更好的适配数据快速增长的要求。
3、 存储生命周期,一般而言,集中式存储的生命周期大概在8-10年左右,超过10年的风险就较大,而分布式存储可以通过批量的硬件迭代完成存储生命周期的重构。
4、 业务友好,两者对业务都非常友好,如果有一些海量数据归档、 底层操作、数据隔离的需求,分布式存储更好一些。
以上是二者在选择性方面的考虑。

匿名用户
容器云是通过CSI接口实现对接存储,形成数据持久化能力。市面上绝大多数存储都支持。
至于选择何种存储方案,还是要可业务本身的特性和要求来选择。

集中式存储适合场景:
集中式的存储依然是目前不可替代的,一般用于企业的生产、办公等交互频繁的关键业务。因为集中存储效率高,速度快,这是分布式存储不具备的优势,分布式由于数据分布在不同的区域保存,应用存取自然会损耗一定的存取时延。
集中式存储的物理介质集中布放;数据要上传到中心对机房环境要求高,要求机房空间大,承重、空调等都是需要考虑的问题。
传统的SAN存储,面对PB级规模存储时,成本非常高,数据共享差,难以支撑多用户文件共享。
常见的NAS存储,由于共享网络带宽,并发性能差。

分布式存储适合场景:
大数据、时序数据库,列式数据库,非结构化数据,搜索引擎索引等
海量数据的非结构化数据最适合分布式存储,加快系统的读写速度,提高系统的容错性和可用性。
分布式存储的物理介质可以分布到不同的地理位置,数据就近上传,对骨干网带宽要求低;可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低;小容量设备分布部署,对机房环境要求低。

3. 集中日志中心和影像平台在存储选型和容器化方面上有哪些注意事项?原来的日志中心在容器化过程中有哪些注意事项,非结构化数据的影像平台应用容器化改造过程中会受到影响吗?

wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
从数据类型看归档日志集中保存、如图片、音视频等影像类非结构化数据,数据量大、数增长迅猛,由于监管的要求,往往需要长期保存,这类型数据的并发量要求不是很高、 IO 延迟不是特别敏感,适合采用扩展灵活、性价比友好的分布式存储,支持横向扩展,建设数据湖也是当前一个方向。

顾黄亮  技术总监 , 苏宁消费金融有限公司
在容器云上部署关系型数据库,且数据库的数据是重要的业务系统数据,则选择集中式存储为宜。如果是业务应用系统的日志,或者是影像平台的海量小文件,则建议优先选择分布式存储,在扩展性和成本收益上更佳。

 

五、DellEMC的分布式存储产品和容器云平台的解决方案

DellEMC有着丰富的存储产品线,DellEMC的分布式存储产品有哪些,针对容器云平台环境的解决方案有哪些,现有的Isilong存储是否能够支持后续的容器云平台建设。

1. Dell分布式存储如何支持多场景?dell存储是否支持数据库、虚拟化、容器多场景,在双活和异地容灾提供哪些能力

NealZhang  CPS , 戴尔科技金融行业解决方案中心
Dell的分布式存储主要有分布式SAN PowerFlex,分布式NAS Isilon以及分布式对象存储ECS,可以分别或组合对应客户不同的需求场景,一般来说数据库和虚拟化场景推荐分布式SAN PowerFlex,三个产品支持容器不同需求场景,同时支持容灾以及双活架构。

顾黄亮  技术总监 , 苏宁消费金融有限公司
简单概括, 数据量大、高吞吐量、高性能、高扩展的场景适合用分布式存储。

2. DellEMC针对容器环境有哪些存储解决方案?现在有哪些行业案例?

顾黄亮  技术总监 , 苏宁消费金融有限公司
其实,这是容器云的持久化存储的选型的问题,EMC是集中式存储,对于容器云而言,是持久化存储,集中式存储在通用的容器云场景中,不能说不适合,只能说有一些浪费,不过在金融行业内,还是有一些场景需要用持久化存储。
具体还是要根据承载的工作负载进行具体分析。譬如在容器云上部署关系型数据库,且数据库的数据是重要的业务系统数据,则选择集中式存储为宜。如果是业务应用系统的日志,或者是配置文件,则建议优先选择分布式存储,在扩展性和成本收益上更佳。

wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
针对容器云存储需求 , DELL EMC 主要的存储产品线都有良好的集成,如 PowerFlex 、 PowerMax 、 PowerScale 、 PowerStore 、 Unity 等都提供了 CSI driver ,还针对存储高级功能与 K8S 的集成提供了专用的 Dell EMC Container Storage Modules (CSM) 模块, CSM 模块包括 5 大类功能,如 Authorization 、 Observability 、 Replication 、 Resiliency 和 Volume Group Snapshotter 。
此外银行用户都很重视的备份需求,DELLEMC还针对 K8S 应用环境的备份需求,提供了 PowerProtect Data Manager 备份解决方案,支持 K8S 的备份恢复。

3. 是否可以用数据中心现有的Isilon作为容器云存储?相比其它传统NAS存储或分布式存储有哪些优势?

是否可以用数据中心现有的Isilon作为容器云存储?用Isilon相比其他NAS存储或分布式存储的优势有哪些?

cpc1989  存储工程师 , 某保险公司
谈一些个人看法:
1.isilon配合容器存储CSI插件,可以对接容器持久化存储需求;
2.优点:Isilon本身就是一种分布式集群存储架构,所以相比于一般的NAS存储来说,IO性能优异,并行性很好;
3.需要补充的是: Isilon更适合非结构化数据、大数据分析场景,但相比于一般集中式NAS存储来说,IO SIze比较大,如果是小IO场景其实是不适合的,性能优势不明显,存储容量也会有一定的浪费,最好还是根据数据场景来选择更合适的存储;

嘉宾:YDX147258369  系统运维工程师 , 北银金融科技有限公司
数据中心是可以用 Isilon作为容器云存储的,目前我们就是用的这个Isilon存储,为上层应用提供多种不同类型,不同等级的存储资源,稳定性也是可以的。

顾黄亮  技术总监 , 苏宁消费金融有限公司
完全可以,isilon支持符合行业标准的各种协议,理论上说支持任何场景,包括容器云。

NealZhang  CPS , 戴尔科技金融行业解决方案中心
Isilon是戴尔科技高端分布式横向扩展NAS存储设备,是很多全球金融客户都采用Isilon作为数据湖云平台,在性能、用户体验、数据安全保护以及管理方面都有独到的优势,是针对非结构化数据以及半结构化数据云存储的业内最好的选择。

wdmfyx003  工程师 , 戴尔科技金融行业解决方案中心
Isilon 是DELL EMC 分布式数据湖存储,适合文件、对象等多种数据类型、以及大数据分析等多种应用类型,这些特性也适合作为容器云存储,特别是DELL EMC还提供了针对容器云存储的CSI driver,方便isilon 与K8S的对接,此外isilon还具备丰富的存储高级功能,例如远程容灾复制,适合对高可用性有高要求的金融行业用户。

五、同行交流达成的共识

(1)集中存储和分布式存储目前都在广泛应用,对大多数城商行用户而言,不会只有一种形态的存储存在。集中存储发展成熟、可用性高、易于管理维护,分布式存储是后起之秀,采用分布式横向扩展体系架构。;

(2)容器本身是开源的项目,从这个角度来说,同样源于开源的分布式存储更适合,需要从管理,运维,成本,性能等综合来考虑。

(3)集中式的存储依然是目前不可替代的,一般用于企业的生产、办公等交互频繁的关键业务。因为集中存储效率高,速度快,这是分布式存储不具备的优势,分布式由于数据分布在不同的区域保存,应用存取自然会损耗一定的存取时延。

(4)在集中式存储无法满足业务的扩展需要场景下,需要使用到分布式存储。集中式的软硬件资源始终有瓶颈或极限。而相对于集中存储方式或架构来说,分布式存储可以根据需要进行资源弹性的水平或垂直扩容来应对更多业务数据的存储或者计算。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

1

添加新评论0 条评论

Ctrl+Enter 发表