互联网金融平台存储层技术路线与容灾实现?

1、对于互联网金融平台的特点来说,存储到底是选择集中式的还是分布式那种比较好?容灾模式到底如何设计?应用层到底是虚拟化技术还是裸设备?应用部署在两个站点间是分布式的还是准备切换?
2、在建设容灾模式时,对于存储IO性能和数据一致性有较高要求时,到底改如何选择存储类型,集中式还是分布式?

参与7

2同行回答

李静12138李静12138产品解决方案总监星辰天合(北京)数据科技有限公司
互联网金融平台还是需要区分业务来看:首先是核心业务,这部分都属于重载的数据库,这部分的延迟要求非常高,现阶段主流的解决方案都是集中式存储全闪方案比较多,部分在转型分布式全闪方案(摸索期),分布式全闪建设涉及到网络改造,rdma架构,整体容灾都是双活架构进行搭建,应用层从小机到...显示全部

互联网金融平台还是需要区分业务来看:
首先是核心业务,这部分都属于重载的数据库,这部分的延迟要求非常高,现阶段主流的解决方案都是集中式存储全闪方案比较多,部分在转型分布式全闪方案(摸索期),分布式全闪建设涉及到网络改造,rdma架构,整体容灾都是双活架构进行搭建,应用层从小机到裸设备过渡,暂时还不建议虚拟化方案,存在性能损耗,应用部署都属于双活架构。
第二部分是云平台or虚拟化部分or开发测试,轻载的数据库(能在虚拟机里面部署),常规的业务等等,推荐分布式架构,这种架构已经非常成熟,不管是vmware,kvm,docker等,这部分业务在计算已经分布式架构,存储端分布式架构原生适配,原生的iscsi/rbd/csi-iscsi/csi-nfs等协议更好的支持,在弹性扩展/迅速上线/软硬件分离/敏态扩展/未来统一平台升级/数据湖建设等都有平滑方案。该部分的容灾根据灾备机房距离,网络延迟情况决定双活或者异步复制的容灾。
第三部分:非结构化数据(生产图片包括双录系统),现阶段都在往对象存储的方向转化,对象存储都是分布式的架构,非结构化数据的增量很快,未来规模很大,同时文件数量很多,原始的文件存储无法满足海量文件索引的要求,对象元数据机制可以很好的满足。对象存储的生命周期管理和分层策略等功能使得落地方案更加灵活。对于原来的文件存储,只要应用支持对象接口协议,xsky的3ds功能可以帮助从文件转对象的数据转换和迁移。容灾对象存储有双活和异步双活方案。异步双活(元数据强一致性,数据非强一致性)最为主流,对网络没有硬性要求,每200ms触发同步检查,差异数据控制在最小秒级别(生产压力大的时候差异数据多一些)。
第四部分:大数据分析平台,hdfs方案很成熟,但hdfs只支持副本不支持ec,得盘率低;hdfs没有跨数据中心容灾,如果都是有状态的数据,对数据安全性要求高,现阶段分布式存储可以替换hdfs,存算分离的方案,很好的解决得盘率和跨数据中心容灾的问题,存算分离相互的影响也更少。

收起
软件开发 · 2021-03-31
浏览981
集中式存储和分布式存储各有利弊,如传统集中存储具有稳定可靠性好,数据服务丰富如有良好的数据一致性存储容灾解决方案,接口标准兼容性广泛,性能强等优点。同时存在着 扩展性等方面的限制。 分布式架构的存储,可扩展集群的规模大,单硬件成本低廉,同时也存在着单节点性能低,延时...显示全部

集中式存储和分布式存储各有利弊,如传统集中存储具有稳定可靠性好,数据服务丰富如有良好的数据一致性存储容灾解决方案,接口标准兼容性广泛,性能强等优点。同时存在着 扩展性等方面的限制。
分布式架构的存储,可扩展集群的规模大,单硬件成本低廉,同时也存在着单节点性能低,延时高 , 数据弱一致性,标准不统一且非常依赖网络环境和带宽,如果网络发生抖动或者故障,都可能会影响分布式存储系统运行。
从容灾建设角度有几个关键指标,RPO 、RPO、DTO,这几个指标都非常关键,如银监的《商业银行业务连续性监管指引》、人行颁发的《银行信息系统灾难恢复管理规范》中都对这些关键指标提出了明确要求。而从容灾架构是实现方式和成熟度来说,集中存储的两地三中心方案都更为可靠,实施的案例更多。当然还是看业务数据存放需求,目前的对象存储也支持双活乃至多站点容灾方案的部署。

收起
IT其它 · 2021-03-26
浏览1045

提问者

guanyang1326
系统工程师辽宁农商银行
擅长领域: 服务器灾备数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-03-25
  • 关注会员:3 人
  • 问题浏览:1833
  • 最近回答:2021-03-31
  • X社区推广