·2022-01-25 09:28

系统工程师·某银行

金融机构数字化转型背景下，集中式与分布式存储选型之辨和未来之路

字数 5845阅读 6893评论 4赞 16

# 前言
随着金融机构数字化的横向扩张和纵向延伸，集中式存储和分布式存储也顺应趋势，逐步形成了在“硬实力”和“软能力”方面的双向提升。IT基础设施对存储各项指标的需求已经从扩展性、可靠性、低成本转换为对存储技术先进性、技术成熟性、自主可控性的综合评估。

在当前金融业数字化转型实践和IT基础设施建设的方法论中，显而易见集中式架构和软件定义数据中心的思想似乎已经逐步占据主流，传统存储尤其是集中式存储的增长呈现出相对疲软的态势。但从Gartner最新的存储趋势报告和各大厂家在2021年三季度公布的市场销售情况上看，集中式存储目前在企业的使用率仍然远超分布式存储，只是增幅在减少。在数字化转型的大背景下，金融行业存储架构技术路线的选择，是否要顺应行业发展趋势，更多选择分布式存储？在容器化、微服务化的背景下，集中式存储能否满足需求？

本文将结合金融业存储应用趋势以及业务需求场景的个性化，分析辨别集中式与分布式存储在各类场景下的选择困惑，洞察两类存储在金融业的发展鸿沟，并为行业提供一定的存储选型依据，实现存储架构对支撑金融业务连续性和快速响应需求方面的有机结合。希望本文在总结现状的同时，也能引起读者对技术发展的思考。

# 一、金融行业存储应用发展正在由“割裂”走向“融合”
纵观金融行业的IT基础架构发展历程，从80年代左右的分散式到90年代的大集中，再到如今的分布式+集中式的双核异构模式。存储的使用模式也伴随着IT基础架构发生变迁，存储使用的变化历程上看：

## 1.集中式存储以“性能+稳态”为发展方向
集中式存储在金融行业的应用中，主要有SAN及NAS存储、融合存储、混闪、全闪等几种存储形态，磁盘的发展经历了机械盘、SSD固态硬盘、NVMe接口全闪存等磁盘类型；随着磁盘及存储性能的稳步提升，延时和高可用性都得到了进一步的提升。金融业的主要应用场景也集中在核心业务、稳态系统、数据库、虚拟化等。集中式存储目前仍然是企业关键业务的主流架构，保障数据安全，支撑业务高可靠、高可用和稳定性。

## 2.分布式存储更侧重“软件定义”
分布式存储，从IBM的GPFS产品到如今，已经经历了20余年的发展，现在形成了SDS（软件定义存储）的全新模式。随着金融业业务快速迭代，对数据的资源池化和非结构化数据占比的不断增长。

分布式存储整体发展是业务需求导致，最早为了满足海量数据对高性能、高效处理的需求，但随着金融业IT场景的发展，不仅局限于满足空间容量，出现了对计算的融合、处理海量小文件、闪存介质融合等新的发展趋势，甚至包括数据访问的负载、第三方业务平台接口对接等不同的诉求。

## 3.主流存储厂商选择“兼容并蓄”
存储的发展趋势偏向精细化，主流厂商则更加侧重兼顾发展（如Dell EMC）。从测评项中可以看出对存储的评价也不仅仅局限于稳定及高性能，更多的侧重于和软件定义及更多的安全特性。
![](/home/attachment/202202/08/301729_164429268171465.png)

# 二、业务、技术等多重因素推动分布式存储快速发展
在金融行业数字化转型的大背景下，传统“黑盒子”的存储模式，已经不适应当下金融业务所有需求。满足各类场景下存储的“软能力”变得尤为重要。随着金融机构对非结构化数据、海量文件的处理，分布式存储也随之出现了块存储、文件存储、对象存储等类型。

## 1.传统三层架构向二层架构的演变
集中式存储架构为金融业务提供了良好的性能及稳定性，但在业务复杂性、数据安全性、扩容性价比的多重压力下，金融机构逐渐采用更加高效的分布式架构解决方案。比如，目前金融机构大多采用“x86服务器配合虚拟化+SAN网络光纤交换机+集中存储阵列”的三层架构，在此基础上初步实现计算资源池化，提升资源利用率和运行效率。但传统三层架构下，扩展性以及弹性部署都难以实现敏捷化处理，并存在整体投入大、运维成本高、信息安全方面不可控等因素。

随着虚拟化技术的不断成熟，分布式存储+计算资源的“二层架构”也成为帮助金融机构快速应对市场变化、快速响应业务需求、有效降低搭建成本的绝佳方式。目前，很多金融机构纷纷布局分布式云存储平台建设，实现存储一体化管理的同时，也能对IT基础设施（计算、网络资源）进行智能调度，满足了高可用、高弹性、高安全、低成本的数字化建设要求

## 2.为敏态而来的软件定义存储
以超融合架构为基础的软件定义存储模式具备易扩展、高性能与统一管理平台易管理等特点。随着金融机构业务系统的增多，数据中心计算和存储规模的扩大，以及 PC 服务器虚拟化技术普及，传统集中式存储架构，也暴露出其扩展性差、灵活性低、管理复杂，成本高等问题。

遵循软件定义、分布式理念和技术框架，可构建高可靠、高性能、维护简单、

弹性扩展的资源池，可以很好地支撑敏态业务发展，适应互联网渠道交易瞬时高并发、多频次、大流量的新型金融场景特征。并且，对云管理层、虚拟化层、分布式存储到硬件层都具有良好的开放性。

当前更多重要业务基于容器环境部署，随之而来容器持久化存储的问题摆在了存储人的面前。在容器环境下，可对接如Dell EMC Isilon商业化分布式存储，为上层应用提供多种不同类型，不同等级的存储资源。

# 三、针对金融行业应用场景，集中式、分布式 “各取所需”
从上文的发展现状中，可以看出无论是通过scale up（纵向）或scale out（横向）上的扩展，实际上都是为了在各类金融场景中寻找数据和计算资源的平衡，包括在存储平台中引入的新技术，如RDMA、TOE、硬件纠删码等，都希望把延时缩短，并在各类金融应用场景中实现按需应用。

## 1多维量化存储能力
集中式和分布式存储在面向金融场景化的实际需求中，成本、扩展性（容量及性能）、软件功能、维护性及兼容性这六方面成为行业重点关注的维度，下面简要对二类存储从这六方面维度进行对比。
（1）成本方面，集中式存储成本取决于控制器数量、配置规格、硬盘数量和类型，以及各种附带软件功能特性，因此单位容量成本需考虑的因素较多。同样分布式存储也取决于x86服务器的CPU、内存、硬盘数量及类型、分布式软件特性。
（2）容量和性能方面，集中式存储由控制器与磁盘柜组成，主要部件包括各类控制、数据处理芯片以及高速缓存。分布式存储系统采用可扩展的系统结构，利用多台存储服务器资源构成一个虚拟的存储设备。由于架构不同，集中式存储和分布式存储的IO路径和时延也存在差异，通过对比发现前者的IO写时延有较大优势。
（3）维护性和兼容性方面，集中式存储不存在软、硬不兼容情况，且厂商商业化支持力度较高，基本上不存在维护和兼容性方面问题。分布式存储则随着集群中节点数量不断增加，存储集群的硬件成本和管理成本会随之增加，内存资源、网络资源、故障域管理复杂度都会呈几何倍数增加。
![](/home/attachment/202202/08/301729_164429271075771.png)
通过上表对比，可明显看出，仅从某个维度对比，集中式和分布式存储各有千秋。比如，分布式存储在可扩展性方面占据天然优势，而集中式存储则在维护及兼容方面具有一定优势。但这六个维度之间是互相关联影响的，要进行具体的综合性评估，则需要结合企业实际现状开展。

## 2集中式VS分布式，场景应用逐步细化
针对不同应用场景选择适合系统运行真实需求的存储类型。比如，OLTP高并发的交易类系统，较适合的方案当属NVMe闪存或SSD存储；对于海量数据支撑的实时分析类系统，较适合的方案当属分布式的NVMe块存储；对于海量文件存储或非结构化的影像类数据，较适合的方案是对象存储或者大容量机械盘存储。

下面，通过金融业常见的4种场景，简要分析选用存储的思路。
![](/home/attachment/202202/08/301729_164429272919888.png)
**（1）集中式存储在金融业的应用场景分析**
集中式存储在金融业中使用较多的案例有高端的全闪存存储，其具有百万级的IOPS、低延时的特性，并支持NVMe磁盘，在金融业交易类系统中，常用于核心账务系统、交易银行系统等等。集中式存储在时延、稳定性和软件成熟度方面有明显优势，适合应用于有数据强一致性要求、高IOPS、低时延的OLTP类交易业务场景。

如上表中的核心账务类系统，对时延和IO较为苛刻，使用高端或者全闪存存储更合适。集中式存储软硬一体化产品成熟度高、生态完善等特点使其在运维、性能、稳定性等方面有诸多金融行业强依赖的优势。

**（2）分布式存储在金融业的应用场景分析**
分布式存储则适用于海量数据、大数据OLAP类场景、以及对时延不敏感的场景。如表中的BI分析平台和办公系统，通常对数据容量的需求较大，且存在横向扩容需求，因此使用分布式块存储更合适。

在金融行业的应用场景中，在线交易、数据分析和实时查询等不同场景对分布式存储的使用需求，在大数据应用领域逐步引入PostgreSQL、MySQL、Hadoop和Gbase等技术组件，通过上层技术的实施，在底层也引入了分布式存储。

# 四、金融行业集中式与分布式未来应用趋势的思考

## 1.  分布式存储未来能完全取代集中式存储吗？
笔者认为不能。生产安全和业务创新，两手都要抓，两手都要硬。针对高性能、核心业务场景，分布式存储在数据一致性、高可靠保障和生态完整性等方面有显而易见的不足。“应用架构分布式+基础架构集中式”现在是很多银行核心系统更新换代的主要架构选择方向。

## 2.  全闪存成为数据中心存储发展方向，无损网络将影响NVMe存储应用
全闪存阵列通过存储介质、存储协议等方面的创新，大幅提高了存储的能力，能更好地应对业务对存储的需求以及助益建设绿色数据中心。金融机构为应对数据激增和敏感业务的挑战，选用适用于大规模数据存储、可扩展性较强的分布式存储和性能优异的全闪阵列成为主流趋势。同时，全闪存包括NVMe存储的推广，在存储端出现性能瓶颈的情况被大大降低，传输网络的损耗成为影响业务性能的重要因素。无损网络的发展也成为了关注焦点之一，其在性能上大幅优于标准以太网，在建设成本方面低于 FC 网络和 IB 网络。因此，在 NVMe与网络融合发展的过程中，无损网络也将成为金融业数据中心关注的新方向。

## 3.     混合架构下，异构存储运维及数据备份是新重点
如今分布式存储、容器、大数据等混合架构带来了异构存储运维和数据备份的挑战。在数据备份方面，随着等保2.0、数据安全保护法等政策深入，在不同场景下的数据备份，将会是未来金融机构开展数据保护建设的重点方向。

如何基于多种异构型的存储，构建一体化的运维平台，需要综合考虑多方面因素。包括系统的业务连续性要求、系统的关键性程度、存储是否同构、联机业务量大小、平台建设成本等等。要成功实施完备的异构存储资源池，不仅要选择合适、成熟和高效的存储技术，更要通过严密的组织、规划和设计。

## 4.存算分离是分布式存储架构分支趋势
金融机构在AI、大数据等方面的应用中，很多运算模型对GPU、内存等算力的需求强烈；海量的非结构化数据对存储容量的需求更多。可见数据类型以及数据访问的需求比较复杂，需要根据不同的场景选择不同的模式。而单纯的分布式存储在更多关注在容量空间的动态扩充。但超融合的部署模式和存算分离部署的特点非常明显。在超融合产品框架下，软件定义存储依旧可以延续传统的存算分离的部署模式。这种存算分离的架构也是目前行业的一个发展趋势。

# 五、分布式存储应对金融业发展的挑战及展望
分布式存储虽然在软硬件解耦、价格方面有优势，但目前其在性能和稳定性方面还存在着诸多不成熟之处。比如，分布式存储的软件稳定性及IO性能问题，经常导致生产系统出现硬件节点宕机；软件一致性导致IO读写性能问题也时有发生。以下列举两方面局限性：
一是SDS软件稳定性问题，常见于分布式存储的集群软件对通用硬件的兼容性问题，若发生硬件节点宕机故障也无法快速隔离，影响部分交易的成功率。
二是性能方面，常见于分布式存储集群节点数有限，导致负责较高或某些节点异常时候导致前端响应缓慢，出现性能瓶颈。

随着应用的深入，分布式存储技术正在快速发展，在未来，期待分布式存储能解决如下挑战：

1.业务对敏捷性提出了更高的需求，基于高性能的分布式存储需要在敏态系统承载更高性能、更高可靠性的业务，因此对性能和可靠性提出了更高的需求，分布式存储能否满足？
2.传统三层架构复杂，运维成本高昂，能否利用两层架构达到三层架构的性能，同时简化架构和运维，降低成本？
3.分布式并不意味着纯软件解决方案，金融企业需要基于软件的分布式技术，未来是否会有全栈架构、全生命周期管理的整体解决方案？
4.全闪存是未来业务的方向，目前的分布式存储主要基于大容量磁盘和缓存的解决方案，并没有为闪存优化，未来是否会有更多基于闪存优化的分布式存储产品？
5.超融合场景目前较多的方案是存算结合，但很多业务存和算并不是完全同步增长，未来存算分离的场景是否会有新型方案？
6.随着分布式存储应用场景的增多，未来如何构建高性能的分布式存储资源池，同时支持虚拟化、数据库、容器和AI？

# 六、总结
存储多元化发展是金融业IT应用场景安全稳定、敏捷部署的关键一环，随着技术架构的不断迭代，虚拟化技术、分布式存储技术及以两者为基础的超融合技术发展迅猛。新兴技术的发展并不是为了替代集中式存储，而是能够为集中式存储在既有关键应用领域持续使用的同时带来新业务的突破，集中式与分布式存储依照业务负载按需选择的混合架构是大势所趋。

关于分布式和集中式存储的选择，也类似于企业在数字化转型实践中经常关注的“术”与“道”两方面，“有道无术，术尚可求；有术无道，止于术”，对于两种类型存储的选择，不能单纯依赖于存储的发展趋势和“术”的极致追求，对于架构师们来说，要更多关注底层系统的设计需求和实现模式，正确的处理好企业当前现状的“道”，这也是值得技术管理者关注和思考的问题。换换句话说，存储的选择重在适合，集中式和分布式的技术只是手段，只有服务于业务、适合业务发展才能发挥存储最大的价值。

集中式存储 sds 分布式存储应用场景

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论4 条评论

ltzxlwj700m

系统工程师中*银行
2022-02-10 16:07

【文章价值点】本文介绍了几十年来金融行业存储的发展变迁、数字化转型推动存储技术的发展，并重点对比了集中式存储和分布式存储的优缺点、适用场景。个人认为本文的亮点是作者对存储未来应用趋势的思考以及文末列出的分布式存储面临的挑战。

a5060963运维工程师民营500强企业
2022-02-09 16:27

作者这个观点非常赞同：新兴技术的发展并不是为了替代集中式存储，而是能够为集中式存储在既有关键应用领域持续使用的同时带来新业务的突破，集中式与分布式存储依照业务负载按需选择的混合架构是大势所趋。基于敏捷开发的趋势，很多历史存储方式都被改革为分部署存储。对数据库的挑战日益加强，我们需要更符合企业的方式。去设计对应的存储方式，增效降本开始变成运维的一个指标。但核心是要确保业务的流畅运行。

saltyp

系统架构师某银行
2022-02-09 15:41

赞同作者观点：集中式、分布式 “各取所需”，不盲目，不给自己挖坑。

chris2616其它whocares
2022-02-08 10:47

nice

Ctrl+Enter 发表

匿名评论

金融机构数字化转型背景下，集中式与分布式存储选型之辨和未来之路

添加新评论4 条评论

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料