远离平庸
作者远离平庸·2023-08-03 11:32
资深工程师·股份制银行

银行业数据长期保留需求场景及必要性探讨

字数 7912阅读 1632评论 0赞 13

课题概要

银行业数据的保留时间需要遵守相关的法律法规和监管要求,并根据银行自身的业务需求进行调整,以保证数据的合规性和安全性。同时,银行需要对数据进行分类、归档和备份,以便在需要的时候能够快速地检索和访问数据。银行业需要长期保留数据以满足法律法规要求、业务需求、风险管理和历史分析等方面的需求。这些数据可以作为金融机构的重要资产,有助于提高业务效率和风险管理能力,但是应该提前规划好承载系统和承载时长,平衡好长期保留的数据量与长期保留数据的管理成本。银行在制定数据备份保留策略时,需要考虑到监管要求、实际业务需求、备份周期、备份存储时间、备份存储位置、备份策略、恢复测试和备份安全性等多个因素,并根据具体情况进行适当调整和优化。

课题主持

周远波 股份制银行存储管理员
twt社区备份领域委员会专业委员,主要负责行里备份、存储相关运维及管理规划工作,具有银行多年运维经验。

课题协作:

【twt社区备份领域委员会互动委员—— 重庆三峡银行 袁炼勇
【 twt社区存储、备份领域委员会互动委员——城商行系统架构师朱向东
【 twt社区备份领域委员会互动委员——股份制银行备份专家姚老师

欢迎各领域的IT技术专家,踊跃加入社区专业委员会,与委员会同行专家们共同协作,沉淀自身经验,向行业输出更多实践参考标准!

本次“银行业数据长期保留需求场景及必要性探讨”课题研究共包括五部分,分别如下:
1、需要保留多长时间的数据?不同类型的数据有何区别?
2、金融企业数据长期保留的必要性?保留策略如何制定?
3、银行行业需要备份哪些类型的数据?数据的种类和数量有多大?
4、在何处保留数据备份?是否需要将其存放到远程位置,以避免本地灾害造成数据损失?
5、银行业务系统数据库备份数据长期保留的数据的应用场景是哪些?

1、需要保留多长时间的数据?不同类型的数据有何区别?

数据是银行业务运营和管理的核心基础,对银行的业务和决策具有重要的影响。银行的数据需要保留多长时长,法律法规有哪些监管的要求?交易数据、客户数据等不同类型的数据如何分类?

银行业需要保留的数据时间长度和数据类型是由监管机构规定的,不同国家和地区的监管机构可能存在差异。根据中国人民银行《商业银行数据管理办法》规定,商业银行需要保存的数据期限为:

业务凭证:包括存款凭证、取款凭证、转账凭证、汇款凭证等,是银行业务的重要证据,需要保存5年;业务台账:记录银行业务的流程和结果,包括开户、销户、存取款、转账、贷款等,需要保存10年;账户档案:包括客户基本信息、身份证件复印件、签约协议等,是银行业务的重要依据,需要保存10年;风险管理相关文件:包括风险评估报告、内部控制制度、反洗钱措施等,需要保存15年;其他与银行业务相关的文件和资料:包括内部审计报告、合规检查报告、业务报告等,需要按照业务需要进行保存。

银行数据是指存储在银行系统中的各种类型的数据,包括客户信息、账户余额、交易记录、贷款信息、利率等。这些数据分散在众多不同的业务系统中,因此不能一概而论的统称,可以从业务层面和技术层面进行数据分类。
在业务层面,按照法律法规规定的数据、内部管理需要的数据(包括客户的基本信息、账户信息、交易记录等数据)和业务运营需要的数据来划分。在技术层面,根据应用系统所产生的数据细分为数据库备份数据、应用系统交易日志数据、业务非结构化数据等,按照在线数据、近线数据和离线数据来划分。
1)在线数据:在线数据是需要实时访问的数据,通常是对业务操作产生影响的数据,例如银行账户余额、在线交易记录等。在线数据需要快速响应用户请求,保证数据的实时性和准确性。那么在线数据越积越多后将导致实时访问速度变慢,因此,需要结合应用系统数据的实际情况将部分历史数据进行拆分,比如建立历史查询数据库等,将在线数据迁移至历史库。
2)近线数据:近线数据是指对实时性要求相对较低,但仍需要快速访问和处理的数据,通常是数据量较大但对数据延迟的要求不是特别高的数据,例如:历史数据库交易记录、客户信息等。近线数据需要快速访问,但对数据的延迟容忍度较高。
3)离线数据:离线数据是指对实时性要求相对较低,可以在后台处理的数据,通常是数据量较大,对数据延迟的要求比较低的数据。离线数据对数据的延迟容忍度很高。所以,一般可以理解为备份类的数据。
所以,银行业数据的保留时间需要遵守相关的法律法规和监管要求,并根据银行自身的业务需求进行调整,以保证数据的合规性和安全性。同时,银行需要对数据进行分类、归档和备份,以便在需要的时候能够快速地检索和访问数据。

2、金融企业数据长期保留的必要性?保留策略如何制定?

法律法规要求金融企业数据需要长期保留,长期保留数据以支持业务需求,并跟踪客户的交易历史以了解其投资偏好和风险承受能力,如何提前规划好承载系统和承载时长,平衡好长期保留的数据量与长期保留数据的管理成本?

金融企业数据长期保留的必要性这个问题首先要从数据生命周期阶段和数据存储方式来分析:

数据生命周期阶段:第一阶段:数据在应用系统中数据不删除,也就是热数据。以结构化数据为例,为了提高数据库性能,可以将一些不常用,但仍然会有一些使用需求的,从生产库转移到历史库上。第二阶段:在应用系统中已经没有实时访问的需求,但是需要长期保留的数据。

数据存储方式有两种:

1)集中备份系统:主要防止生产数据的物理丢失(硬件故障,环境故障等)或者逻辑丢失(人为误删除,应用逻辑错误等),提前对数据做定期备份,在数据丢失的时候立刻恢复,通常会在数据丢失的几小时或者几天内就恢复数据,所以一般来说备份系统中的数据不需要保留很久。但是,集中备份系统也可以长时间保留。集中备份系统在备份过程中只是将生产数据搬运到备份介质上,它的搬运兼容性最好,几乎可以对任何数据进行搬运,但是同时,它搬运过来的数据也都是压缩包,想要使用需要再搬运回生产环境,无法直接使用。

2)专门的归档系统:专门的归档系统是为了归档数据而设计的系统。它们通常具有更高级的归档功能,例如数据去重、压缩、加密、索引和检索。专门的归档系统通常能够处理大量的数据,并提供更好的数据管理和保护功能,生产数据在进入到归档系统后,有专门的检索和取用的接口。专门的归档系统通常是针对需要长期保存和保护数据的组织和企业而设计的。

长期数据保留的必要性与保存策略

1)法律法规要求(刚性):金融行业需要遵守各种法律法规,例如证券法、银行法、税法等,这些法规要求金融机构保存特定类型的数据,并在需要时提供给监管机构或法律机构。这些数据可能包括客户信息、交易记录、财务报表等。此类数据应该完全遵从法规细节,在业务系统设计投产时,就将相关法规要求的数据,在规定的时间点,按法规需求保存时长转存至专门的归档系统。
2)业务需求(刚性):金融机构需要长期保留数据以支持业务需求。例如,金融机构需要跟踪客户的交易历史以了解其投资偏好和风险承受能力,需要保存财务报表以监控业务绩效和财务状况。此类数据完全由业务需求决定,是业务的一部分。此类数据需要实时访问,将在数据库中长期存放,不能从数据生命周期中归为长期保留数据,不需要额外进行策略设计。仅仅从资源使用成本合理性和数据库性能考虑,可以存放至生产数据库或者历史库,保存时长按业务需求。
3)风险管理(刚性):金融机构需要长期保留数据以进行风险管理。例如,金融机构需要保存交易记录以便在需要时进行调查和审计,需要保存客户信息以便进行反洗钱和反恐怖融资的监测。此类数据由于可能没有清晰的法规要求,而且有的审计非常随意,原因为一些审计政策本身就语义不明,可以有不同的解读。所以对于重要应用系统,可以在集中备份系统中将月末或者季末数据库备份后长期保留,保留时间根据成本考虑,可以十五年或者二十年。
4)历史分析(非刚性):金融机构需要长期保留数据以进行历史分析。例如,金融机构需要分析过去的交易数据以了解市场趋势和预测未来的市场走势,需要分析客户的投资历史以了解其投资行为和偏好。此类数据也属于业务需求,一般来说不算数据中心长期保留数据的范畴,应该在应用架构范围内解决,可以存放至生产数据库或者历史库,保存时长按业务需求。

综上,金融行业需要长期保留数据以满足法律法规要求、业务需求、风险管理和历史分析等方面的需求。这些数据可以作为金融机构的重要资产,有助于提高业务效率和风险管理能力,但是应该提前规划好承载系统和承载时长,避免成为大水漫灌的数据,易存不易使,当长期保留的数据量太大太多,达到几十PB几百PB以上时,不仅将难以使用,随之而来还会带来长期保留数据的管理成本、转储成本等。

3、银行行业需要备份哪些类型的数据?数据的种类和数量有多大?

银行作为金融机构,需要备份的数据类型和数量非常繁多,以保障日常业务运营和应对各种突发情况。数据的种类和数量因银行规模、业务类型、数据处理系统等因素而异。银行如何做好备份策略定期评估?

银行作为金融机构,需要备份的数据类型包括交易数据:包括客户账户余额、转账记录、存款和贷款信息等;客户信息:包括客户身份信息、联系方式、信用评估结果等敏感信息;安全日志:记录系统事件和安全状态变化的信息,包括系统操作日志、安全日志、异常日志等;系统配置文件:操作系统、数据库、网络设备等各类硬件设备的配置参数;应用系统数据:如核心支付系统、风险控制系统、业务管理平台等的相关数据和设置信息;证书和密钥:加密算法所需证书文件和密钥,以确保数据传输和访问安全;电子文档:客户签署协议、合同、贷款申请人资料等重要的电子文档;影像资料:交易凭证、身份证复印件、权益证明等的扫描或拍摄的电子文档;其它数据:财务数据、员工数据,办公数据等。

数据的种类和数量因银行规模、业务类型、数据处理系统等因素而异。一般来说,大型银行需要备份的数据量较大,可能需要备份数百万到数千万个客户的信息和交易记录,以及大量的系统日志和员工数据。备份的数据量也会随着时间的推移而增加,因此银行需要定期评估备份策略,以确保备份的数据能够满足业务需求和法律法规要求。

银行不同的业务系统,对应不同的信息系统,有着不同的数据类型。在进行备份与容灾保护时,需按重要级别和保护级别进行保护。目前,国内中小银行灾难备份方面存在4种方法。

1)仅做主机双机热备份
双机热备份就是使用互为备份的两台服务器共同执行同一服务,其中一台主机为工作机(Primary Server),另一台主机为备份机(StandbyServer)。在系统正常情况下,工作机为应用系统提供服务,备份机和工作机互相监视对方的运行情况是否正常,当工作机出现异常,不能支持应用系统运营时,备份机主动接管工作机的工作,继续支持关键应用服务,保证系统不间断的运行。

双机热备是一种实时备份,任何软件错误、病毒影响、误操作等等,都会同步地在多份数据中发生影响。因此,对于关键业务仅采用此方案的话,依然存在相当大的安全隐患,如数据损坏、丢失时根本无法进行恢复,一旦遇到灾难性事件可能产生无可挽回的影响。

2)将备份数据存放在同城异地分支机构
这种数据备份方式最常见的模式是:定期备份+关键数据备份。

定期备份:是按一定时间间隔,将系统某一时刻的数据备份到磁带等介质上,及时传递到远离运行中心的安全地方保存起来。

关键数据备份:是将数据更新的日志或流水等关键数据及时备份下来,并传送到安全地方(通常是同城的主要分支机构)。关键数据备份的频率应比定期备份的频率更高。关键数据中包含了数据更新的全部操作,因此,使用定期备份介质和关键数据备份介质,完全可以将数据恢复到备份终结前最后的关键数据状态。

此种方案大多采取人工方式传送定期备份介质、数据通信传送关键数据的方式运行,主要优点是投资较少,可利用现有的磁带备份设备和数据库管理系统工具。

采用这种方式进行灾备,说明银行对于灾难恢复有基本的认知,但是防护手段比较单一。如果碰到地区性灾害,则同样有可能丢失对于银行来说生死攸关的数据。

3)在分支机构内设机房,做同城异地实时备份
同城异地实时备份,是指进行数据更新操作同时,在运行系统和备份系统中进行备份,运行系统的数据更新操作既写入本地磁盘,又通过高速数据通信线路传到备份系统的磁盘,直至收到备份系统完成数据更新操作的确认。

此方案中后备运行系统处于热备份状态,因此灾难发生后恢复时间极短,主要是网络切换的时间。采用的技术一般有远程磁盘镜像同步方式、远程数据库复制同步方式和网络数据镜像同步方式等。

4)将备份系统托管在同城IDC机房中,做同城异地实时备份
这种情况与第三种情况类似,区别之处在于使用了第三方的机房环境。IDC的基础设施条件有好有差,但最根本的一点也在于运营管理。IDC的制度、管理及设施都是适应于Internet主机设备托管的,因此与灾备中心的运营管理存在极大差别。如果没有相应的措施,其中存在的隐患会更大。

4、在何处保留数据备份?是否需要将其存放到远程位置,以避免本地灾害造成数据损失?

根据监管要求,备份数据需要异地存放,以避免本地灾害造成数据损失。银行在选择远程备份位置时需要考虑哪些因素?

根据监管要求,备份数据需要异地存放,所以,银行业都会将数据备份存放在距离生产机房较远的安全位置,以避免本地灾害造成数据损失。
早期一般是通过人工安保押运方式将备份数据介质运输到指定的安全位置妥善保管。随着技术快速发展,银行业基本上已经具备两地三中心等容灾架构,一般是将备份数据通过网络复制保存到同城灾备或异地灾备机房。而且在规划多中心容灾架构时都预先设计了备份数据的恢复能力。
银行业选择备份位置包括以下几种:

1) 数据中心:银行会建立自己的数据中心,并在其中设置主要的数据备份设施。这些数据中心通常具有高级别的物理和网络安全措施,以保护数据免受未经授权的访问和灾难事件的影响。
2) 地理分散位置:为了防止单一地点的风险,银行会选择在不同的地理位置建立数据备份。这些位置可以是离主数据中心较远的地方,甚至可以分布在不同的城市或国家。
3) 云存储服务:一些银行也会选择将数据备份到可靠的云存储服务提供商那里。云存储能够提供高度安全性和冗余性,确保数据在多个地点进行备份,同时提供快速且可靠的恢复选项。

以上是一般而言,但实际银行的数据备份策略可能因银行规模、法规要求以及其它因素而有所不同。银行会根据自身需求和风险管理考虑因素来制定最适合的数据备份方案。

5、银行业务系统数据库备份数据长期保留的数据的应用场景是哪些?

银行如何根据监管要求和实际业务需求来制定数据备份的保留策略,以确保备份数据的完整性、准确性和可靠性?银行数据备份的具体保留策略有哪些?主要依据哪些监管要求和实际的业务需要来制定了相关的备份策略?

数据库是核心中的核心,数据库的备份也是核心,长期保留主要是内外部合规的基础上,如何确保数据库数据的万无一失。

5.1 银行业务系统数据库备份数据长期保留的应用场景主要包括以下几个方面:
1) 法律法规要求:根据相关法律法规的要求,银行需要对某些重要数据进行备份,并且要求保留一定的时间。例如《中华人民共和国商业银行法》中规定存款账户记账凭证、交易凭证等必须保存五年以上;《银行卡业务管理办法》规定,持卡人账户交易信息怀疑发生异常时应立即停止该账户交易,并保存交易记录不少于6个月。
2) 业务风险控制:银行业务涉及到大量的资金流动和客户交易信息,为了避免业务风险,银行需要对这些数据进行备份,并保留一定的时间。备份数据可以作为审核、追责等方面的依据,以防日后发生争议。
3) 内部审计和监督:为了确保银行的内部审计和监督有效开展,银行需要对某些数据进行备份,并保留一定的时间。备份数据可以作为内部审计和监督的依据,以便审计和监管人员进行核查和审查。

5.2 不同的银行在数据备份方面的保留策略可能有所不同。一般来说,银行的数据备份保留策略主要依据以下两个方面:
1) 监管要求:银行需要遵守相关的监管要求,例如《商业银行法》、《银行卡业务管理办法》等,要求银行对某些数据进行备份,并保留一定的时间。银行需要根据监管要求来制定相应的数据备份保留策略。
2) 实际业务需求:银行的备份策略还需要考虑到实际的业务需求。不同的银行在业务规模、业务类型、数据量等方面存在差异,因此其备份策略也需要根据实际情况进行制定。

5.3 具体相关备份策略的制定,要依据内部信息科技部门和银行总体规划来制定,主要可以从以下几个方面考虑:
1) 数据备份周期:银行需要确定备份周期,即备份的时间是每天、每周、每月还是每年。一般来说,备份周期越短,备份数据的实时性就越高,但备份数据量也就越大,备份和恢复所需的时间成本会更高。
2) 数据备份存储时间:银行需要根据监管要求和实际业务需求,确定备份数据的存储时间。一般来说,备份数据可以分为长期备份和短期备份,长期备份一般保存数年或更长时间,而短期备份则保存较短时间,如几天或几周等。
3) 数据备份存储位置:银行需要确定备份数据的存储位置,即备份数据是否存储在本地或者远程的数据中心等地。备份数据的存储位置需要考虑到数据安全性、可靠性以及成本等多个因素。
4) 数据备份策略:银行需要明确数据备份的策略,包括完全备份、增量备份、差异备份等多种备份方式。完全备份可以保证数据备份的完整性,但备份数据的大小比较大,备份和恢复的时间成本也比较高;增量备份和差异备份可以节省备份数据的大小,但还原备份数据的时间成本会更高。
5) 数据备份恢复测试:银行需要对备份数据进行恢复测试,以确保备份数据的准确性和可恢复性。银行应该制定相应的恢复测试计划和流程,定期对备份数据进行测试,发现备份数据的问题及时处理并修复。
6) 数据备份安全性:银行备份数据需要考虑到数据的安全性,只有经过加密并且存储在安全可靠的设备中,才能有效保护数据备份不被非法获取和篡改等风险。另外,备份数据还需根据数据的机密等级分区存储。

因此,银行在制定数据备份保留策略时,需要考虑到监管要求、实际业务需求、备份周期、备份存储时间、备份存储位置、备份策略、恢复测试和备份安全性等多个因素,并根据具体情况进行适当调整和优化。不同场景的、不同重要程度、不同业务的数据库都有不同的要求,还要依据银行的具体信息化建设情况综合考虑,需要从整体数据安全层面去考量和制定相关备份策略,还要结合监管要求和银行业务要求去实现。

课题总结:

1) 银行业需要保留的数据时间长度和数据类型是非常重要的,银行应该建立健全的数据备份和保存机制,确保数据的安全和完整性。
2) 银行业需要制定合理的数据备份和保存策略,并且定期检查和更新策略,以确保客户数据的安全和可靠性。
3) 银行数据的种类和数量因银行规模、业务类型、数据处理系统等因素而异。银行需要定期评估备份策略,以确保备份的数据能够满足业务需求和法律法规要求。
4) 银行在选择远程备份位置时需要考虑到数据传输的延迟和带宽限制等问题,以确保备份数据的及时性和完整性。此外,银行还需要定期测试备份数据的恢复能力,以确保备份数据的可靠性和有效性。
5) 银行的数据备份需要长期保留,备份策略需要根据监管要求、业务需求、数据重要性和技术手段等因素来制定。银行需要定期评估备份策略的有效性,并根据需要进行调整和改进。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

13

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广