李静12138
作者李静121382021-12-31 16:34
产品解决方案总监, 星辰天合(北京)数据科技有限公司

演讲实录| 金融行业分布式存储实践分享

字数 3426阅读 3108评论 0赞 0

金融行业从早期的办公与业务电子化,发展到后来的金融互联网化,主要表现为网银、手机银行等各类移动渠道的发展,是一种基于传统柜面业务的延伸,在该阶段业务驱动+移动技术结合演进。随着大数据、区块链和人工智能等创新前沿技术的快速发展,我国正经历着从金融互联网化向金融智能化的演进,需要有效解决目前金融行业信息不对称的问题,并帮助企业从“产品为中心”转向“客户为中心”。在真正进入到金融智能化时期后,技术和业务会同时主导行业发展,IT部门将向利润中心靠近,近些年各头部金融企业都开始布局科技子公司,也验证了该发展趋势。

在金融科技创新发展过程中,业务越来越多样化,数据规模也呈爆发式增长,因此对海量数据的有效管理、业务敏捷上线、低成本运营等一系列的要求促使金融企业选择上云发展。据第三方调研机构统计,目前已有88%的金融企业使用或者有计划使用云重构自己的IT系统,以应对企业数字化转型的需求。

目前看,为确保关键应用的稳定可靠,传统技术架构或核心系统还会在一定时间内保持原有架构不变,而新架构和新核心更多地支撑原生云技术和云服务的新型业务及应用(如互联网金融业务),两者会在一定时间段内并存,这就是业界熟知的“双模IT架构”。就其中的数据存储架构来说,如果采用分布式存储架构,可以有效应对除“核心应用”以外的业务场景需求,为敏态IT提供数据底层。

单就银行业务的数据服务来说,数据量从GB增长到了PB级别;数据服务协议及数据种类繁多,包括SCSI /iSCSI /NVMe Over,块/文件/对象、结构化/半结构化/非结构化数据等;性能要求更高,从非实时性业务的秒级到实时业务的微秒级;应用场景愈加多样化,从核心交易数据库、云/虚拟化/容器到电子影像平台、大数据平台等多种场景。目前,分布式软件定义存储可以覆盖或承载上述90%以上的场景。

在本次交流中,我们基于XSKY星辰天合最新的软件定义存储系统+Intel的最新硬件平台技术,来为大家分享满足银行交易系统创新诉求的分布式存储系统设计。

银行业从3.0时代迈向4.0时代,银行客户的业务也从传统的存/取/贷款、代缴代收等业务逐步拓展到以“客户为中心”的全场景金融服务,结合“渠道移动化”的发展趋势,可以提供各类场景化的金融交易类服务,如网上投资理财、电子商务、APP场景化的金融服务等。

金融核心业务包括接入类业务,如常见的网银、手机银行、柜台系统等;核心交易类业务,如传统的存取贷、信用卡、投资理财以及最核心的总账核算、支付结清等;最后是管理风控类,如报表管理、风险管理平台等。这些涉及交易业务的系统对存储平台有着极高的要求,包括如下几个方面:

● 可靠性: 要求全年7x24小时不停机,从硬盘部件、机柜到整个数据中心各种极端情况下的数据安全性、业务连续性的保障,两地三中心完善的容灾机制;

● 高性能:常规都是微妙、毫秒级时延,数万到十万,甚至百万级IOPS要求;

● 扩展性:业务增量以及迭代年限要求业务无感知的情况下平滑升级扩展;

● 保护投资:除了传统的裸金属,现在还有虚拟化、容器多种方式,存储设备需要具备对接这些平台的能力,另外数据库从集中式往分布式方向发展,存储系统需要具备应对多种数据库的能力;

这些都是在存储设备选型环节需要提前评估的因素,XSKY最新发布的新一代分布式全闪产品具备应对这一系列要求的能力:

首先,它基于国内领先的专业独立软件定义存储厂商的数据操作系统Data OS打造,国内首家支持英特尔® 傲腾™+TLC&QLC的企业级全闪系统,在极致的性能要求下,成本可下降50%;

其次,这款产品面向IO密集型场景,包括OLTP、OLAP及实时分析处理。在这款产品中,XSKY严选Intel高科技部件,包括选用Intel新一代数据中心网卡,最高可支持100GB,支持两种RDMA协议;选用最新的英特尔® 傲腾™数据中心SSD,提供极致的高IO低时延;以及采用企业级的TLC和QLC颗粒作为数据盘,按需配置。它的特性如下:

第一,英特尔® 傲腾™很好的补充了内存设备和PCIe之间的空白,因为革命性新材料的开发突破,可无需清除介质数据即可就地写入,拥有30倍于普通SSD的寿命,具有更高的耐用性,时延更低,这也是核心交易场景非常重要的考量点。

第二,基于英特尔® 傲腾™高性能、低时延的特性,XSKY采用英特尔® 傲腾™ SSD做全闪缓存池承接小IO,为数据写入及读取提供极致性能;TLC或者QLC SSD 则主要承接大块IO读写,同时,也为cache miss的小IO读取提供持续高性能服务,有效解决了混合场景Cache读miss 带来的性能衰减问题。

第三,网络层优化,最新V6产品对业务端做了一系列优化,如针对裸金属部署方式以及容器场景,XSKY支持FC和RDMA的选项;针对虚拟化部署,XSKY自研开发了高性能客户端;存储内部互通也升级至RDMA,利用Intel 高性能网卡搭建高达100Gb速度的端到端RDMA通道。

第四,对于全闪存储来讲,成本也是一个关注点,XSKY通过LogAppend刷盘技术实现高性能EC,大幅提升了得盘率,降低了存储成本。通过在SSD缓存层将随机小IO合并成大IO,再通过后台GC优化合并生成连续的大IO;通过空间换时间的方式解决缓存下刷速度的问题,实现打不爆的Cache,让数据层都是大块IO操作,EC的效率和性能得到了大幅度提升。

最后,XSKY在端到端的IO路径优化上也做了很多工作,如在网络层重新设计RPC数据格式,避免内存拷贝,降低内存资源的占用,RPC直接和传输内存交互,充分发挥了RDMA的优势;在IO路径上优化代码分支,提前预测,避免大量代码分支判断,提高代码执行效率;支持把OSD绑定到NUMA NODE上降低内存时延等。

通过上述XSKY星飞产品软硬件层面的优化,与上一代采用SSD配置的存储系统相比,成本降低75%,性能提升60%。

基于XSKY星飞产品在性能方面的优化设计,我们分享江苏省农村信用社联合社 在跑批场景使用星飞产品的实践结果:

另外,在分布式存储应用中,大家还比较关心金融业务适合融合部署还是分离部署的问题,其实两种部署模式各有优缺点:

融合部署,IO路径短、性能好、硬件资源充分利用,性价比更高,但如果计算和存储的增长不一致,便无法各自灵活扩展演进,而且节点故障会对计算和存储同时产生影响,无法做到故障隔离;

分离部署,IO路径长、需要更好的算法进行优化、有更好的协议支持,如:利用RDMA实现高速存储网络;当然,硬件数量要求更多,整体投入高,但好处也很明显,扩容灵活,计算和存储故障隔离,随着部署规模的增加,通过高效的EC冗余等技术,可以减少分离部署模式下带来的硬件成本投入(这里相对于传统的多副本模式来说);

所以我们建议,小规模场景,如10节点以内,都可以考虑融合部署;当业务系统规模逐渐增大后,则分离部署更适合。XSKY支持从融合部署到分离部署的演进,支持IT架构平滑过渡。在江苏省农村信用社联合社的案例中,基于业务量和数据量的综合考虑,采用了分离部署模式,从系统整体的稳定性和性能表现来看,都满足了客户业务的需求。

针对金融客户IT环境的苛刻要求,XSKY分布式存储产品还在存储系统的可靠性、运维管理便捷性等维度也做了很多设计,对金融客户的生产交易类应用,真正做到了高性价比、高稳定性及高性能。

在系统可靠性、稳定性方面,XSKY在产品维度及方案维度提供了端到端的解决方案:

在系统运维管理方面,XSKY也提供了一系列的解决方案:

XSKY存储系统通过软硬件结合的方式,从对硬件各个组件的亚健康检测,到全方位的指标监控设置,再到监控策略的一系列精细化的设置,实现了端到端的全方位智能运维,满足了金融客户在生产交易等关键应用场景下高效、简单、主动的运维诉求。

本次交流围绕银行交易类业务系统存储需求展开,着重介绍了高性能、高可靠块存储方面的需求。事实上XSKY分布式存储产品,不仅可以提供块存储能力,还同时支持文件、对象等多种存储服务。针对银行应用场景,XSKY提供了六大解决方案,涵盖银行生产业务90%以上的应用场景,具体参考如下:

随着银行客户IT架构的不断创新,在云/分布式等场景的演进过程中,XSKY分布式存储产品正在发挥着越来越重要的作用,针对银行应用的不同场景,为客户提供高效可靠的存储底座和解决方案,帮助客户实现业务数字化成功转型。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表

相关文章

相关问题

相关资料

X社区推广