chenmingfu
作者chenmingfu2022-11-21 17:23
基础架构组长, 西部某城商银行

金融企业非结构化数据全生命周期管理下的存储系统规划和设计

字数 7124阅读 1421评论 0赞 6

2022年初,中国人民银行《金融科技发展规划2022-2025》和银保监会《关于银行业保险业数字化转型的指导意见》两份重磅文件正式发布,为金融行业数字化转型指明了方向和路径,目前各金融机构高度重视数据化转型,采取多种手段大力推进数字化转型进程。随着数字化转型进程的快速推进,录音、录像、音频、视频及图片等非结构化数据将会快速增长,快速增长的海量非结构化数据将会对存储、备份、网络带宽等基础架构带来巨大挑战,如何采取有效技术手段措施进行全生命周期管理,有效应对海量非结构化数据日趋增长是每一位金融科技从业人员重点考虑的难题。金融行业对海量非结构化数据的管理高度关注,作为架构规划人员及存储管理人员一是要解决非结构化数据的存储问题,二是如何有效数据管理,包括同城容灾、数据分层管理、不同技术架构间数据流动等。

本期交流活动重点围绕“如何识别和全面梳理企业的业务系统涉及哪些非结构化数据?如何合理定义这些不同业务数据的生命周期管理策略?”、“针对文件类非结构化数据存储、生命周期管理、文件共享及交互等需求,从容量、性能、功能、高可用等维度如何进行NAS路线存储架构设计?”及“针对海量非结构化数据的备份需求,兼顾成本和效率,如何进行备份系统的分层架构设计?”三大议题展开研讨,特别邀请金融行业专家、华为专家与多位银行业同行共同探讨交流。本文对活动中大家分享的内容进行了梳理汇总,希望能够给大家在今后的非结构化数据规划设计及运维过程中带来借鉴参考。
共分为五个部分:
非结构化文件生命周期管理策略;
非结构化存储设备日常运维管理;
非结构化数据存储体系架构规划;
非结构化数据存储设备选型以及本次交流达成的共识。

希望通过交流活动理清思绪,帮助更多专家在数字化转型趋势下的非结构化数据全生命周期管理,提供更加清晰的技术路线选择和经验参考,从容应对海量非结构化数据全生命周期运维管理挑战。

交流达成的共识总结

1.非结构化文件生命周期管理策略方面。根据业务系统的重要等级程度及业务场景,制定完善的数据保护策略,存储端采用分层分级体系,既能满足文件保护要求,又能适度降低设备采购成本,同时结合监控工具,监测文件访问频率,不断更新完善数据保护机制。

2.非结构化存储设备日常运维管理方面。集成部署时充分结合厂商参数建议及文件特性,合理设置存储设备blocksize值,确保inode节点数量合理,日常运行过程中,采取完善的监控工具,监测非结构化存储性能趋势,充分评估NAS存储所涉及的NFS客户端、主机端、网络带宽及存储端性能变化情况,确保能够第一时间发现存储性能瓶颈。

3.非结构化存储体系架构规划设计方面,从自身实际需求出发、充分考虑数据类型、应用等级和使用场景等多个维度进行非结构化数据存储架构统筹规划,在规划方案中,需采用业界成熟、用户案例丰富、成熟可靠的产品方案并结合自身个性化需求完善,统筹考虑容灾建设,同时兼顾网络分区安全隔离等安全因素。分布式存储适用于对I/O吞吐量的要求高,后续扩容需求巨大,而对性能没有极致要求使用场景,分布式对象存储则适用于海量非结构化数据。

4.非结构化数据存储设备选型方面。重要信息系统的非结构化数据建议采用传统的企业级NAS双活存储架构,该类产品较为成熟稳定而且性能也较好,分布式适合于大文件场景,带宽、吞吐等方面有足够优势,针对特定的场景选择对应的解决方案,并非是非此即彼,适合的才是最好的。产品选型的时候一定要确保同一套软件平台支持不同批次的硬件产品在线扩充,比如不同磁盘容量差异、不同设备型号差异,否则将来扩容会很被动,对象存储设备选型建议优选考虑软硬一体的成熟商业化产品。

一、非结构化文件生命周期管理策略

朱向东 银行 问题:对于非结构化文件的生命周期管理策略中生命周期指标确定的依据是什么,如何确定具体的指标值,对已经明确的指标值如何实施筛选文件是否过期,对过期文件如何清理,分享一下最佳实践?NAS场景下多存储数据分级是否会改变NAS访问源路径?异构存储间是否可以实现存储分级对数据分级保护?

国信证券-吕利文 回复:我们对象存储数据生命周期管理的维度是业务应用数据重要等级,证券行业数据分级分类有一套完善的规范,至少二级以上的数据才会存储到对象存储中,对应的应用系统都是A/B类在线交易类重要信息系统,这些数据都是长期保留的,其他诸如备份数据等都不存放到对象存储中,目前主要给serverless的应用提供存储服务,可能和很多同行业的使用方式不太一样。行业内是有对象存储数据转储到磁带的解决方案,传统对象存储是没办法把数据分级分类,且数据清理比较复杂且影响性能。

华为-武装 回复:首先,根据业务诉求及数据文件的元数据(比如修改时间、访问时间等)确定数据分级的大策略,然后设置一个基础分级策略;其次部署一套存储监控体系,监测数据文件是否遵循基础策略设置长期未被访问过,根据一段时间的监控不断优化调整数据分级策略;另外一种方式就是存储分级,主存储后端接其他存储,M级别的文件跨存储访问延时控制在10毫秒内,K级别的文件跨存储访问延时控制在3毫秒以内。NAS场景下不会改天访问源路径,所有的访问入口都集中在前端主存储上,对客户端访问是透明无感知的,异构存储间使用的各厂商内部私有协议,而非公开标准协议,故无法联动实现数据分级保护,目前华为不同型号间存储是可以实现联动的。

二、非结构化存储设备日常运维管理

1.小文件场景中,NAS存储降低存储容量方法?

惠建雄 华泰保险 问题:我们一个业务系统,每天产生几万个几百字节到1k大小报文,存放在nas上,读取效率低且存储空间浪费严重,业务还要求不能删除。请问有什么方案吗?

主持人 北京农商行-刘振国回复:设置存储blocksize为最小值,inode数量及存储容量会有很大优化。

华为-武装 回复:V3型号产品,通过合并方式,比如小于4K的文件进行合并,但依然有文件写不满造成空间浪费的情况。V6产品采用全新技术,分为两级处理,上层文件系统为4K粒度,下面存储条带化落盘的时候是压挤方式,可缩小到100字节以内的容量空洞,100字节以外完全紧连到一起。

2.NAS存储性能优化?

仓猛 国投安信 问题:应用主机侧同时挂载两个NAS存储路径,为提升文件读写性能,根据业务场景分别将数据写入到两个NAS路径下,存储侧有没有好方法实现两存储端不同的数据同步互为备份,且保证前端应用写入性能?有没有手段监测到存储负载情况,并根据负载进行目录控制器均衡?

华为-武装 回复:针对这个场景,需要关注文件读写的瓶颈到底是在主机端、网络带宽还是存储端,若是主机端及网络带宽,那存储侧无能为力,存储侧NAS文件系统的写入性能主要受控制器I/O能力影响,V3型号存储NAS目录都集中在同一个控制器,V6存储的NAS目录由4个控制器轮询纳管,这样就确保应用主机端不同的目录挂载到不同的控制器下,确保NAS读写性能,不同目录的I/O资源不互相受影响。存储双活技术是实时保持数据同步,但要确保存储间距离不宜过远,否则链路质量将会影响同步性能,最好是本地双活存储。两个存储同时写入一个目录会导致写性能下降,需要关注,如果分别写不同的目录将会大幅度提升性能。业务繁忙的目录可以根据重要程度再次拆分,拆分后目录轮询到多个存储控制器,而不受限于某一个控制器性能,性能将会得到很大提升。可通过监控查看每个控制器及共享目录的繁忙程度及资源使用率等,目前存储只支持文件系统级控制器迁移,暂不支持目录级迁移,未来将会考虑这一方面。

3.NAS存储目录挂载影响问题?

蔡炯桐 深圳证券交易所 问题:针对NAS存储,如何在同城灾备切换时减少对客户端挂载的影响? (大量服务器使用NAS,NAS灾备切换时,客户端会有一定概率hang住,需要重启相关服务);

主持人 北京农商行-刘振国回复:如果两中心间是大二层,客户端是无感知,如果是三层网络IP地址不一样需要重新mount NAS文件系统,可考虑编制好脚本,并结合灾备切换工具实现快速切换挂载。

华为-武装 回复:实际场景中灾备切换客户端挂载主要受NFS客户端问题、网络问题及存储问题影响,为解决NFS客户端异常及存储异常等场景问题,华为目前参照通用NFS协议研发自己的NFS客户端,优化了一些功能,提供NFS多路径等功能,可解决很大部分挂载异常情况,但实际环境中,客户可能担心自研客户端对操作系统的侵入性,华为保证不对操作系统内核等有侵入。

蔡炯桐-深交所:武老师,华为这个nfs客户端是计划要做?还是已经有了?是否限于华为NAS存储环境?

华为-武装 回复:目前处于开发及内部演示阶段,2023年3-4月份可以给客户进行POC测试验证,2023年9月份可商业化,基于权责问题,目前暂不考虑兼容其他品牌存储。

主持人 北京农商行-刘振国问题:自研NFS客户端对底层存储型号有严格要求吗?比如是否都支持V5或V6?

华为-武装 回复:对型号没有限制,只要是华为品牌的存储都是兼容。

三、非结构化数据存储体系架构规划

1.海量非结构化数据如何备份?

蔡炯桐 深圳证券交易所 问题:海量非结构化数据如何备份?如何满足“离线”备份要求?

国信证券-吕利文回复:市场现有备份软件无法读取对象存储中的文件进行备份,对象存储中数据只能通过“最终一致性多副本及版本”方式实现保护,如果数据在传统NAS存储中,就可通过传统的存储复制或NDMP等手段实现备份。

2.NAS存储瓶颈及备份?

郑彩平 银行 问题:当前华为nas的使用瓶颈有没有?nas备份如何设计?

华为-武装 回复:NAS文件系统单个目录不会只属于某一个控制器,极端场景下,控制器性能可能会存在瓶颈,比如部分控制器很繁忙,部分控制器却很闲,对网络带宽也会造成一定的影响,未来将考虑基于目录切片均衡分散到不同控制器等手段提升性能。NAS备份技术很成熟,通过存储间异步复制+两端快照机制实现备份,效率及性能都能得到保障,

3.NAS存储与公有云的对接?

游久朋 富邦保险 问题:NAS存储与公有云的对接情况?

华为-武装 回复:NAS存储完全支持到公有云的对接,目前在海外使用的场景更多,支持更为全面,比如微软云等,如果有需求技术上是完全可以对接到华为云中,只需要投入网络链路费用及华为云费用等成本,还得兼顾项目周期等等。

4.云上对象存储的建议使用场景?

王玮_长沙银行 问题:请问云上对象存储的建议使用场景?我们目前华为云的obs主要用于应用放置非结构化数据(文件/图片),同时利用obs来实现多应用节点的数据共享传输。想借鉴下同业最佳实践,还有针对对象存储的备份策略该如何界定,海量数据备份的成本(时间/空间)感觉很高 。

华为-武装 回复:华为云中对象存储目前销量较多的主要是块服务及对象服务两种,文件服务上线时间段,还处于早期商用阶段,对象存储的双活是“最终一致性”,不是强一致性保护,数据一致性是有时间差的,所以多活手段很多,如6/12活,是一对多复制衍生出的多活复制体系,华为云中主要是备份池及大数据等场景使用对象存储,生产环境使用的较少。

5.非结构化文件存储转储归档?

张云 天津滨海银行 问题:华为V3影像类非结构化存储中的数据如何有效转储归档,基于应用程序、备份软件实现还是存储层实现较为高效?如果基于存储侧实现数据转储归档,对硬件产品的型号及版本有何要求?

华为-武装 回复:目前我们的产品暂不具备时点数据的归档能力,这是我们产品未来发展的一个方向,归档与备份是两个方向的体系,如果备份建议采用专业的备份软件实现备份。建议将新购V6存储设备作为主用存储,当前在用V3设备作为V6存储的挂接,这样既能保证现有数据文件的持续快速访问,又能保障设备能力扩充。

6.非结构化数据备份?

阮金锋 农商行 问题:我行现在使用华为及NETAPP存储,部署方式有同城双活及本地双活,备份平台设计之初未考虑非结构化数据场景,请问通过两级存储异步复制方式实现非结构化数据备份的案例多吗?使用备份软件备份到磁带库的案例有吗?

华为-武装 回复:NAS存储异步复制+快照方式技术很成熟,监管部门并无明确备份实现要求,采用该类方式实现非结构化数据的备份转储完全没问题,可大胆使用,不用太多顾虑。

有使用备份软件备份到磁带库的案例,比如前面提到的NDMP软件,在国内见得少,在国外见过NDMP V4备份到磁带库的案例,但是NDMP协议速率很慢,最多100M,目前国内越来越少。

7.双活NAS存储目录控制器归属问题?

孟雷 问题:请问下振国老师,现有Dorado同城双活前三层目录有相关控制器归属的问题,不同的非归属控制器访问涉及不同存储控制器的转发,这块在实际使用中如何进行处理或是规避的。

华为-武装 回复:V5产品是文件系统级别的控制器归属,V6产品把一个文件系统下面的目录打散,前两层目录是轮询没有归属,第三层及以后就与上层目录控制器归属保持一致,不再打散均衡。目录太深会导致元数据访问延时过大,影响性能。双活存储场景下,应用同城跨机房读是目前华为正在考虑要解决的一个问题,之后会逐步完善解决,保证应用双活存储就近本地读,降低跨中心间的性能损耗。

8.海量数据存储体系分层架构?

张晓斌 保险 问题:针对企业海量的数据储存,如何更高效地对企业存储体系进行分层架构的优化?

国信证券-吕利文 回复:数据量过大的时候可能会遇到inode数量及访问时效等方面问题,这种情况可考虑采用分布式文件系统技术路线,如果上层应用配合力度大,也可考虑采用对象存储。一套解决方案不可能解决全部问题,还需要从业务维度、业务重要等级、访问时效及业务类型(实时交易类、查询类还是业务流程类)等方面做一些区分,然后针对性的采取一些解决方案。NAS存储很容易满足这些场景下存储间数据交互,对象存储及NAS存储都在互相朝对端领域融合发展,将来会逐步融合。查询类的数据(比如风控数据)需要从应用架构侧前瞻性考虑数据的分层及归档,否则数据量足够大的时候,会对后端基础架构的备份、转储及容灾技术等带来较大挑战,比如增加数据存放目录表,统筹记录数据存放位置等。

9.NAS双活产品替代?

吴胜锦 某农信 问题:我单位目前使用EMC存储的unity工具实现NAS共享功能,想要实现NAS双活无缝切换,有没有较好的建议?分布式存储单个节点的最大容量是多少?对象存储是否支持压缩、重删除等功能?数据备份到虚拟带库时间较长,有没有更好的建议?

华为-武装 回复:可考虑采用华为或NETAPP的NAS专用存储替代,针对NAS共享进行了子目录分散轮询到多个控制器机制,性能会有很大提升。分布式存储单个节点的最大容量是几十TB,容量越大读写性能就会越差,扩展性很好,但性能会是瓶颈。华为通过异步复制+两侧快照的方式实现零碎小文件的备份。

主持人 北京农商行-刘振国回复:数据库的备份可采用数据泵先把数据备份到本地磁盘,之后再转储至虚拟带库中,这样可节约时间。

四、非结构化数据存储设备选型

1.非结构化数据存储选型?

游久朋 问题:非结构化数据存储选型问题,到底是传统双活架构合适还是分布式合适?

主持人 北京农商行-刘振国 回复:主要还是看业务需求,基础架构都是服务于业务的,比如重要的A类重要信息系统,建议采用传统的企业级NAS双活存储架构,该类产品较为成熟稳定而且性能也较好,分布式适合于大文件场景,带宽、吞吐等方面有足够优势,针对特定的场景选择对应的解决方案,并非是非此即彼,适合的才是最好的。

2.海量非结构化数据跨存储迁移?

哈行-张鹏 问题:请问下两位老师,海量非结构化数据在迁移过程中在跨存储迁移过程中,如何高效地进行索引、打包、压缩和数据校验?另外蓝光存储有成熟的案例吗?

华为-武装 回复:还得看海量数据的源头是啥,异构之间基本都是基于开源rsync软件进行优化封装的解决方案,同构存储间直接采用存储复制技术即可,2022年底,华为公司将交付一个异构存储间文件迁移能力,NFS客户端内嵌至存储中,通过NFS客户端的优化,降低交互次数,加速存储间迁移,异构存储场景下,通过内嵌NFS客户端读取外部NAS存储的数据,可采用“先切再迁移”或“先迁移再切换”两种方式。针对分布式存储文件基本不可能异构存储迁移,只能绑定于现厂商产品。目前蓝光存储国内就一家厂商,而且速率不如带库,且成本较高,最低700-800元/TB。

主持人 北京农商行-刘振国回复:蓝光存储在城商行主要用于备份存储分层领域,也有一部分落地案例。

3.分布式对象存储扩容?

张云 滨农 问题:请问下吕老师,您那分布式扩容时,硬件平台是否保持架构一致?如果硬件平台不一致,扩容是不是有问题?

国信证券-吕利文回复:产品选型的时候一定要确保同一套软件平台支持不同批次的硬件产品在线扩充,比如不同磁盘容量差异、不同设备型号差异,否则会很被动。

4.分布式对象存储规模及产品选型?

孟雷 问题:请问国信的吕老师,你们现有对象存储的规模是多大,是否为软硬一体的产品还是纯软的构建,是否使用了同城容灾复制,后续整体扩容规划在容量方面是如何考虑的。另:在你们的对象选型中软硬一体的产品是否会优选考虑

国信证券-吕利文 回复:单个数据中心对象存储容量为400-500TB,软硬件一体化产品,目前实现了东莞、上海及深圳三中心容灾建设,单体应用在东莞主中心运行,微服务架构的应用在三中心都运行,同时读写,基于ELK建立容量管理监测平台,分析容量增长趋势,每年有一次扩容,选型时优先考虑软硬件一体化产品,基于安全稳定考虑,成熟稳定产品是生产产品选型关键。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

6

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

活动总结
活动总结是社区交流活动内容的总结及延伸,为大家提供了社区专家们丰富且高水平的理论知识、实践经验以及常见问题的最佳解决方法,非常值得大家收藏学习。

作者其他文章

相关文章

相关问题

相关资料

X社区推广