互联网金融平台存储层技术选型和架构设计的突出难点问题有哪些,如何妥善解决?

参与12

3同行回答

互联网金融平台对于存储的要求主要体现在 高可用、可扩展性、安全性、高性能这几个方面,技术选型也是以此作为出发点和依据,架构选型中主要问题:1. 如何构建满足监管要求的数据安全性架构 , 需要充分参考银监会人行的业务连续性指引的相关要求,例如在等保 2.0 数据备份相关要...显示全部

互联网金融平台对于存储的要求主要体现在 高可用、可扩展性、安全性、高性能这几个方面,技术选型也是以此作为出发点和依据,架构选型中主要问题:
1. 如何构建满足监管要求的数据安全性架构
需要充分参考银监会人行的业务连续性指引的相关要求,例如在等保 2.0 数据备份相关要求:
| 二级 | 本地备份与恢复+异地定时备份 |
| 三级 | 本地备份与恢复+异地数据实时备份+本地业务高可用 |
| 四级 | 本地备份与恢复+异地数据实时备份+本地业务高可用+异地业务高可用 |
可以通过存储厂家架构方案建议构建,或在现有存储选型基础上构建满足相关安全性要求存储架构。
2. 如何兼顾高性能和高的 TCO ;
目前存储发展到第五代存储阶段, NVMe 接口 SSD 磁盘 + SCM (存储级内存)使用下,存储性能和响应时间可以得到很好的保障,同时通过第五代存储的有效容量的使用方式,提升 TCO ,降低单 TBe 存储使用成本。
3. 如何实现架构的高可用
一般可采用数据库容灾高可用同存储高可用相结合的方式实现 。对于农信互联网金融平台,在存储底层可采用 闪存阵列 + 存储网关的方式构建存储高可用架构。
4. 基础设施的监控运维优化
从技术发展的角度看,越来越多的客户倾向于选择开源路线构建数据中心监控系统,如 Zabbix 或 promethus ,这些技术路线,直观简单,易于上手,在设备监控尤其存储性能监控可以做到多维度监控。

收起
IT其它 · 2021-03-26
浏览1119
jxnxsdengyujxnxsdengyu课题专家组系统工程师江西农信
三个突出难点:1、如何有效结合互金不同业务的特点,来针对性进行存储技术选型和架构设计? 2、高并发业务采用集中式还是分布式存储选型问题,如何评估?3、海量非结构化数据存储选型问题,如何评估?...显示全部

三个突出难点:
1、如何有效结合互金不同业务的特点,来针对性进行存储技术选型和架构设计?
2、高并发业务采用集中式还是分布式存储选型问题,如何评估?
3、海量非结构化数据存储选型问题,如何评估?

收起
银行 · 2021-03-25
浏览1357
李静12138李静12138产品解决方案总监星辰天合(北京)数据科技有限公司
互联网金融平台存储层还是需要区分业务来看:首先是核心业务,这部分都属于重载的数据库,这部分的延迟要求非常高,现阶段主流的解决方案都是集中式存储全闪方案比较多,部分在转型分布式全闪方案(摸索期),分布式全闪建设涉及到网络改造,rdma架构,整体容灾都是双活架构进行搭建,应用层从...显示全部

互联网金融平台存储层还是需要区分业务来看:
首先是核心业务,这部分都属于重载的数据库,这部分的延迟要求非常高,现阶段主流的解决方案都是集中式存储全闪方案比较多,部分在转型分布式全闪方案(摸索期),分布式全闪建设涉及到网络改造,rdma架构,整体容灾都是双活架构进行搭建,应用层从小机到裸设备过渡,暂时还不建议虚拟化方案,存在性能损耗,应用部署都属于双活架构。
第二部分是云平台or虚拟化部分or开发测试,轻载的数据库(能在虚拟机里面部署),常规的业务等等,推荐分布式架构,这种架构已经非常成熟,不管是vmware,kvm,docker等,这部分业务在计算已经分布式架构,存储端分布式架构原生适配,原生的iscsi/rbd/csi-iscsi/csi-nfs等协议更好的支持,在弹性扩展/迅速上线/软硬件分离/敏态扩展/未来统一平台升级/数据湖建设等都有平滑方案。该部分的容灾根据灾备机房距离,网络延迟情况决定双活或者异步复制的容灾。
第三部分:非结构化数据(生产图片包括双录系统),现阶段都在往对象存储的方向转化,对象存储都是分布式的架构,非结构化数据的增量很快,未来规模很大,同时文件数量很多,原始的文件存储无法满足海量文件索引的要求,对象元数据机制可以很好的满足。对象存储的生命周期管理和分层策略等功能使得落地方案更加灵活。对于原来的文件存储,只要应用支持对象接口协议,xsky的3ds功能可以帮助从文件转对象的数据转换和迁移。容灾对象存储有双活和异步双活方案。异步双活(元数据强一致性,数据非强一致性)最为主流,对网络没有硬性要求,每200ms触发同步检查,差异数据控制在最小秒级别(生产压力大的时候差异数据多一些)。
第四部分:大数据分析平台,hdfs方案很成熟,但hdfs只支持副本不支持ec,得盘率低;hdfs没有跨数据中心容灾,如果都是有状态的数据,对数据安全性要求高,现阶段分布式存储可以替换hdfs,存算分离的方案,很好的解决得盘率和跨数据中心容灾的问题,存算分离相互的影响也更少。

收起
软件开发 · 2021-05-08
浏览1036

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-02-26
  • 关注会员:4 人
  • 问题浏览:2282
  • 最近回答:2021-05-08
  • X社区推广