银行业在票据影像文件存储选型上的探讨?

银行在业务运营中会产生大量纸制凭证以及视频图像,使得非结构化数据的发展速度迅猛增长。但是在金融信息化建设之路上,金融行业一直专注于业务管理信息系统的发展。相比之下,与金融业务控制、内部管理关系十分密切的票据影像类的基础数据管理与保存建设,还存在很大的改善空间。
由此,银行建设集档案录入、图像处理、智能识别、数据核对、统计分析、海量存储、精确查询于一体的票据影像集中管理平台已成为其必由之路。
那么目前文件存储中常用的产品有HDFS、GPFS以及CephFS等,针对以上几种产品的选型,大家有什么好的经验及建议呢?欢迎一起畅谈!

5回答

刘文刘文  系统工程师 , CMBC
泊涯michael1983yinxin等赞同了此回答
昨日夜里无事,又针对这一问题思考了下,个人愚见,欢迎各位拍砖!票据影像是交易中的重要凭证,针对票据影像的业务特点,对大规模的票据影像数据存储系统,我总结了下,总共大致是有这么四个需求:1、既要保证海量小文件的高速录入、查询,又可以提供大文件的性能保证;2、票据影像的数据量未...显示全部

昨日夜里无事,又针对这一问题思考了下,个人愚见,欢迎各位拍砖!
票据影像是交易中的重要凭证,针对票据影像的业务特点,对大规模的票据影像数据存储系统,我总结了下,总共大致是有这么四个需求:
1、既要保证海量小文件的高速录入、查询,又可以提供大文件的性能保证;
2、票据影像的数据量未来会有一个非常快速的增长,必须保证未来的扩容便捷性;
3、新建设的票据影像管理系统要和已有的票据影像IT设备之间保持兼容;
4、此外,其必须满足监管部门对系统可靠性及数据保护的监管要求。

而截止到目前为止,银行信息部门仍然大量NAS作为主要的非结构化数据的存储和共享,NAS具备一定的稳定性,安全性,同样也支持多数据中心容灾,如果没有性能和容量瓶颈,仍然是优秀的文件存储解决方案。但与此同时,中大型银行也正在经历着互联网公司曾经遭遇的NAS无法解决的存储难题,主要体现在如下方面:NAS存储采用古老的文件系统技术,单个文件系统容量受限,超过容量后对IT运维将带来巨大挑战;NAS存储的目录文件系统采用B+树进行文件索引,当文件数量过多时,会严重影响访问性能;NAS设备过维保后,由于非结构化数据规模较大,在更换时需要花费大量时间,且数据迁移存在风险等等。

在这个应用场景下,个人认为,一款优秀的文件存储,需要具备几个特点:
一是对海量小文件读写良好性能的支持以保证性能,二是支持跨多数据中心容灾以保证安全性。基于这两点,HDFS这种适合大文件读写场景的文件系统可能不太符合需求,而作为一款并行文件系统,GPFS跨中心的数据同步Failure Group机制,同时对于小文件快速读取的支持,则可以很好的满足这两点需求。
出于监管政策要求,数据访问频度可能出现分层,对于短期不再频繁访问,但为了监管要求,日后需要查询的冷数据,可以考虑存放到IBM的带库文件系统等低成本的存储介质上。
随着银行数据中心建设的不断云化,为了实现公有云和私有云的数据通道,以及响应国家自主可控的要求,银行逐渐开始试用国产和开源的文件存储产品,目前大量票据开始迁往巨杉影像数据库,逐渐替换淘汰的NAS产品。

收起
 2019-04-26
浏览498
gavin_zhanggavin_zhang  系统架构师 , 某股份制银行
wuwenpin赞同了此回答
对象存储是另一个比较好的选择。显示全部

对象存储是另一个比较好的选择。

收起
 2019-04-25
浏览462
MYGODMYGOD  信息技术经理 , 股份制银行
hdfs容灾烂,ibm的gpfs厂商支持差,没多少人懂,ceph开源技术坑难填,三个都不好,本来ibm 有个 cm,但同样有技术支持差,且存在容量上限最多5亿个文件。建议使用巨衫sdb显示全部

hdfs容灾烂,ibm的gpfs厂商支持差,没多少人懂,ceph开源技术坑难填,三个都不好,本来ibm 有个 cm,但同样有技术支持差,且存在容量上限最多5亿个文件。建议使用巨衫sdb

收起
 2019-04-30
浏览345
wangshuai_gowangshuai_go  存储架构师 , 平安科技
票价影像文件这类海量静态类型存储模型,用对象存储比较合适。并且对象存储成本会比nas便宜。显示全部

票价影像文件这类海量静态类型存储模型,用对象存储比较合适。并且对象存储成本会比nas便宜。

收起
 2019-04-30
浏览350
顾黄亮顾黄亮  技术总监 , 苏宁消费金融有限公司
对象存储基于目前来说,更多的是存储形态,而不是以前传统行业定义的一种存储架构。所以,基于存储形态的理解来选型,基于银行业的影像系统的特征,比如高并发、高可用、时效性。有两个选择,一个是文件系统,一个是对象存储系统。两者在金融行业的使用有不同的场景,比如附件的存储、文...显示全部

对象存储基于目前来说,更多的是存储形态,而不是以前传统行业定义的一种存储架构。
所以,基于存储形态的理解来选型,基于银行业的影像系统的特征,比如高并发、高可用、时效性。有两个选择,一个是文件系统,一个是对象存储系统。两者在金融行业的使用有不同的场景,比如附件的存储、文件的存储、语音和录音文件的存储、日志的存储,还有一些大数据处理的需求,对象存储系统是不太适合的。而对象存储的适用点在哪里,偏互联网的业务,比如高并发的请求,海量的KB级涌浪。
怎么选择存储形态,还是根据你的业务和场景决定。

收起
 2019-04-26
浏览401
aixchina 邀答

提问者

刘文系统工程师, CMBC
相关推广
  • 机器学习算法模型在券商行业应用与实践
    本文重点介绍机器学习模型在券商行业的应用和实践。首先分析了当前机器学习的发展和现状,然后从实际应用出发,分析解读机器学习算法在券商行业的场景应用,然后进一步阐述了几种机器学习算法在实际场景中的应用,最后讲到机器学习平台的使用以及未来机器学习应用前景。
  • 问题状态

  • 发布时间:2019-04-25
  • 关注会员:6 人
  • 问题浏览:899
  • 最近回答:2019-04-30
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30