互联网金融平台存储层技术路线与容灾实现?

1、对于互联网金融平台的特点来说,存储到底是选择集中式的还是分布式那种比较好?容灾模式到底如何设计?应用层到底是虚拟化技术还是裸设备?应用部署在两个站点间是分布式的还是准备切换?2、在建设容灾模式时,对于存储IO性能和数据一致性有较高要求时,到底改如何选择存储类型,集中...显示全部

1、对于互联网金融平台的特点来说,存储到底是选择集中式的还是分布式那种比较好?容灾模式到底如何设计?应用层到底是虚拟化技术还是裸设备?应用部署在两个站点间是分布式的还是准备切换?
2、在建设容灾模式时,对于存储IO性能和数据一致性有较高要求时,到底改如何选择存储类型,集中式还是分布式?

收起
参与7

查看其它 1 个回答李静12138的回答

李静12138李静12138产品解决方案总监星辰天合(北京)数据科技有限公司

互联网金融平台还是需要区分业务来看:
首先是核心业务,这部分都属于重载的数据库,这部分的延迟要求非常高,现阶段主流的解决方案都是集中式存储全闪方案比较多,部分在转型分布式全闪方案(摸索期),分布式全闪建设涉及到网络改造,rdma架构,整体容灾都是双活架构进行搭建,应用层从小机到裸设备过渡,暂时还不建议虚拟化方案,存在性能损耗,应用部署都属于双活架构。
第二部分是云平台or虚拟化部分or开发测试,轻载的数据库(能在虚拟机里面部署),常规的业务等等,推荐分布式架构,这种架构已经非常成熟,不管是vmware,kvm,docker等,这部分业务在计算已经分布式架构,存储端分布式架构原生适配,原生的iscsi/rbd/csi-iscsi/csi-nfs等协议更好的支持,在弹性扩展/迅速上线/软硬件分离/敏态扩展/未来统一平台升级/数据湖建设等都有平滑方案。该部分的容灾根据灾备机房距离,网络延迟情况决定双活或者异步复制的容灾。
第三部分:非结构化数据(生产图片包括双录系统),现阶段都在往对象存储的方向转化,对象存储都是分布式的架构,非结构化数据的增量很快,未来规模很大,同时文件数量很多,原始的文件存储无法满足海量文件索引的要求,对象元数据机制可以很好的满足。对象存储的生命周期管理和分层策略等功能使得落地方案更加灵活。对于原来的文件存储,只要应用支持对象接口协议,xsky的3ds功能可以帮助从文件转对象的数据转换和迁移。容灾对象存储有双活和异步双活方案。异步双活(元数据强一致性,数据非强一致性)最为主流,对网络没有硬性要求,每200ms触发同步检查,差异数据控制在最小秒级别(生产压力大的时候差异数据多一些)。
第四部分:大数据分析平台,hdfs方案很成熟,但hdfs只支持副本不支持ec,得盘率低;hdfs没有跨数据中心容灾,如果都是有状态的数据,对数据安全性要求高,现阶段分布式存储可以替换hdfs,存算分离的方案,很好的解决得盘率和跨数据中心容灾的问题,存算分离相互的影响也更少。

软件开发 · 2021-03-31
浏览982

回答者

李静12138
产品解决方案总监星辰天合(北京)数据科技有限公司
擅长领域: 存储分布式系统服务器

李静12138 最近回答过的问题

回答状态

  • 发布时间:2021-03-31
  • 关注会员:3 人
  • 回答浏览:982
  • X社区推广