金融企业数据长期保留的必要性?保留策略如何制定?

金融企业数据长期保留的必要性?保留策略如何制定?这块希望可以听听专家们你们的一些看法和实践的经验,谢谢哈。显示全部

金融企业数据长期保留的必要性?保留策略如何制定?这块希望可以听听专家们你们的一些看法和实践的经验,谢谢哈。

收起
参与17

查看其它 2 个回答yaohongbo的回答

yaohongboyaohongbo系统架构师中信银行

这个问题首先要从数据生命周期阶段和数据存储方式来分析,然后才能回答。

【数据生命周期阶段】

第一阶段:数据在应用系统中数据不删除,也就是热数据。以结构化数据为例,为了提高数据库性能,可以将一些不太常用,但仍然会有一些使用需求的,从生产库转移到历史库上。

第二阶段:在应用系统中已经没有实时访问的需求,但是需要长期保留的数据。

【数据存储方式】

数据存储方式有两种,首先要明白这两个不同的承载方式和它们的定位。

1、集中备份系统:主要防止生产数据的物理丢失(硬件故障,环境故障等)或者逻辑丢失(人为误删除,应用逻辑错误等),提前对数据做定期备份,在数据丢失的时候立刻恢复,通常会在数据丢失的几小时或者几天内就恢复数据,所以一般来说备份系统中的数据不需要保留很久。但是,集中备份系统也可以长时间保留。集中备份系统在备份过程中只是将生产数据搬运到备份介质上,它的搬运兼容性最好,几乎可以对任何数据进行搬运,但是同时,它搬运过来的数据也都是压缩包,想要使用需要再搬运回生产环境,无法直接使用。

2、专门的归档系统:专门的归档系统是为了归档数据而设计的系统。它们通常具有更高级的归档功能,例如数据去重、压缩、加密、索引和检索。专门的归档系统通常能够处理大量的数据,并提供更好的数据管理和保护功能,生产数据在进入到归档系统后,有专门的检索和取用的接口。专门的归档系统通常是针对需要长期保存和保护数据的组织和企业而设计的。

【长期数据保留的必要性与保存策略】

明白以上两个系统设计的不同,才可以将长期数据保留需求和存放位置、存放时长说清楚。

1、法律法规要求(刚性):金融行业需要遵守各种法律法规,例如证券法、银行法、税法等,这些法规要求金融机构保存特定类型的数据,并在需要时提供给监管机构或法律机构。这些数据可能包括客户信息、交易记录、财务报表等。

——此类数据应该完全遵从法规细节,在业务系统设计投产时,就将相关法规要求的数据,在规定的时间点转存至 [2.专门的归档系统],[保存时长按法规需求]。

2、业务需求(刚性):金融机构需要长期保留数据以支持业务需求。例如,金融机构需要跟踪客户的交易历史以了解其投资偏好和风险承受能力,需要保存财务报表以监控业务绩效和财务状况。

——此类数据完全由业务需求决定,是业务的一部分。此类数据需要实时访问,将在数据库中长期存放,不能从数据生命周期中归为长期保留数据,不需要额外进行策略设计。仅仅从资源使用成本合理性和数据库性能考虑,可以存放至[生产数据库或者历史库],[保存时长按业务需求]。

3、风险管理(刚性):金融机构需要长期保留数据以进行风险管理。例如,金融机构需要保存交易记录以便在需要时进行调查和审计,需要保存客户信息以便进行反洗钱和反恐怖融资的监测。

——此类数据由于可能没有清晰的法规要求,而且有的审计非常随意,原因为一些审计政策本身就语义不明,可以有不同的解读。所以对于重要应用系统,可以在[集中备份系统中将月末或者季末数据库备份后长期保留],[保留时间根据成本考虑,可以十五年或者二十年]。

4、历史分析(非刚性):金融机构需要长期保留数据以进行历史分析。例如,金融机构需要分析过去的交易数据以了解市场趋势和预测未来的市场走势,需要分析客户的投资历史以了解其投资行为和偏好。

——此类数据也属于业务需求,属于画像的范畴,一般来说不算数据中心长期保留数据的范畴,应该在应用架构范围内解决,可以存放至[生产数据库或者历史库],[保存时长按业务需求]。

综上,金融行业需要长期保留数据以满足法律法规要求、业务需求、风险管理和历史分析等方面的需求。这些数据可以作为金融机构的重要资产,有助于提高业务效率和风险管理能力,但是应该提前规划好承载系统和承载时长,避免成为大水漫灌的数据,易存不易使,当长期保留的数据量太大太多,达到几十PB几百PB以上时,不仅将难以使用,随之而来还会带来长期保留数据的管理成本、转储成本等,但那是下一个问题了。

银行 · 2023-05-24
浏览886

回答者

yaohongbo
系统架构师中信银行
擅长领域: 存储备份数据安全

yaohongbo 最近回答过的问题

回答状态

  • 发布时间:2023-05-24
  • 关注会员:4 人
  • 回答浏览:886
  • X社区推广