这个问题首先要从数据生命周期阶段和数据存储方式来分析,然后才能回答。
【数据生命周期阶段】
第一阶段:数据在应用系统中数据不删除,也就是热数据。以结构化数据为例,为了提高数据库性能,可以将一些不太常用,但仍然会有一些使用需求的,从生产库转移到历史库上。
第二阶段:在应用系统中已经没有实时访问的需求,但是需要长期保留的数据。
【数据存储方式】
数据存储方式有两种,首先要明白这两个不同的承载方式和它们的定位。
1、集中备份系统:主要防止生产数据的物理丢失(硬件故障,环境故障等)或者逻辑丢失(人为误删除,应用逻辑错误等),提前对数据做定期备份,在数据丢失的时候立刻恢复,通常会在数据丢失的几小时或者几天内就恢复数据,所以一般来说备份系统中的数据不需要保留很久。但是,集中备份系统也可以长时间保留。集中备份系统在备份过程中只是将生产数据搬运到备份介质上,它的搬运兼容性最好,几乎可以对任何数据进行搬运,但是同时,它搬运过来的数据也都是压缩包,想要使用需要再搬运回生产环境,无法直接使用。
2、专门的归档系统:专门的归档系统是为了归档数据而设计的系统。它们通常具有更高级的归档功能,例如数据去重、压缩、加密、索引和检索。专门的归档系统通常能够处理大量的数据,并提供更好的数据管理和保护功能,生产数据在进入到归档系统后,有专门的检索和取用的接口。专门的归档系统通常是针对需要长期保存和保护数据的组织和企业而设计的。
【长期数据保留的必要性与保存策略】
明白以上两个系统设计的不同,才可以将长期数据保留需求和存放位置、存放时长说清楚。
1、法律法规要求(刚性):金融行业需要遵守各种法律法规,例如证券法、银行法、税法等,这些法规要求金融机构保存特定类型的数据,并在需要时提供给监管机构或法律机构。这些数据可能包括客户信息、交易记录、财务报表等。
——此类数据应该完全遵从法规细节,在业务系统设计投产时,就将相关法规要求的数据,在规定的时间点转存至 [2.专门的归档系统],[保存时长按法规需求]。
2、业务需求(刚性):金融机构需要长期保留数据以支持业务需求。例如,金融机构需要跟踪客户的交易历史以了解其投资偏好和风险承受能力,需要保存财务报表以监控业务绩效和财务状况。
——此类数据完全由业务需求决定,是业务的一部分。此类数据需要实时访问,将在数据库中长期存放,不能从数据生命周期中归为长期保留数据,不需要额外进行策略设计。仅仅从资源使用成本合理性和数据库性能考虑,可以存放至[生产数据库或者历史库],[保存时长按业务需求]。
3、风险管理(刚性):金融机构需要长期保留数据以进行风险管理。例如,金融机构需要保存交易记录以便在需要时进行调查和审计,需要保存客户信息以便进行反洗钱和反恐怖融资的监测。
——此类数据由于可能没有清晰的法规要求,而且有的审计非常随意,原因为一些审计政策本身就语义不明,可以有不同的解读。所以对于重要应用系统,可以在[集中备份系统中将月末或者季末数据库备份后长期保留],[保留时间根据成本考虑,可以十五年或者二十年]。
4、历史分析(非刚性):金融机构需要长期保留数据以进行历史分析。例如,金融机构需要分析过去的交易数据以了解市场趋势和预测未来的市场走势,需要分析客户的投资历史以了解其投资行为和偏好。
——此类数据也属于业务需求,属于画像的范畴,一般来说不算数据中心长期保留数据的范畴,应该在应用架构范围内解决,可以存放至[生产数据库或者历史库],[保存时长按业务需求]。
综上,金融行业需要长期保留数据以满足法律法规要求、业务需求、风险管理和历史分析等方面的需求。这些数据可以作为金融机构的重要资产,有助于提高业务效率和风险管理能力,但是应该提前规划好承载系统和承载时长,避免成为大水漫灌的数据,易存不易使,当长期保留的数据量太大太多,达到几十PB几百PB以上时,不仅将难以使用,随之而来还会带来长期保留数据的管理成本、转储成本等,但那是下一个问题了。
收起特别感谢您耐心的讲解,通过你的分析了解了很多知识,还有几个疑问想咨询一下:
1、对于你提到的" 专门的归档系统 "具体是怎么来实现呢?是通过磁带等备份介质来离线保留,还是通过搭建历史数据平台来将更久的数据进行一个转存呢?
2、另外还有一个问题,对于交易的流水目前我们也都会保留,并考虑性能问题,对较大的数据库进行了历史库的搭建,但是根据监管的要求,我们是需要对数据每天进行备份(每天备份的数据是包括了状态数据和流水数据),我了解到监管(等保2.0)的要求是保留最近7天的备份数据,另外有一个制度要求互联网业务系统保留最近30天的数据,这是我了解到比较明确的备份保留的需求。但是同业交流了解也有一些单位是将数据每天备份的数据克隆到磁带长期保留。但是实际过程中并么有什么使用场景。所以想咨询下这块的一个需求目前贵单位是怎么来理解和实际执行呢?
在保险行业,数据备份和长期保存非常重要,这是因为保险公司需要保留大量的客户数据、保单数据、理赔数据等,这些数据对于保险公司的业务运营和决策非常关键。以下是我对于金融企业数据长期保留的必要性和保留策略的建议:
总之,金融企业需要制定合理的数据备份和保存策略,并且定期检查和更新策略,以确保客户数据的安全和可靠性。