【核心议题】数据生命周期管理的几个阶段,以及各阶段如何匹配存储?

我们一般所说的生命管理周期包含在线、归档、销毁等相关阶段,大家在规划和实施中对这几个阶段是如何设计的,欢迎分享

4回答

王巧雷王巧雷  系统工程师 , sino-bridge
else_xiefaye岳彩波等赞同了此回答
数据本身是具备生命周期的特性的,其原理为:随着时间的积累,数据访问频次变化和数据量累积变化成反比。对数据根据访问频次进行数据价值评估,然后再对大量低价值的数据采取低成本保存手段,使得数据价值和存储技术与管理相匹配,进而大幅度降低整体数据存储成本。 针对上面的情况,...显示全部

数据本身是具备生命周期的特性的,其原理为:随着时间的积累,数据访问频次变化和数据量累积变化成反比。对数据根据访问频次进行数据价值评估,然后再对大量低价值的数据采取低成本保存手段,使得数据价值和存储技术与管理相匹配,进而大幅度降低整体数据存储成本。

针对上面的情况,不同节点的数据对性能、可用性、可靠性的要求也不尽相同。我们只需要根据这些需求对存储进行分级,再把对应的数据存放至对应的存储层即可,

  1. 在生命周期初期,数据使用频率高,需要使用高速存储,确保可用性及性能
  2. 随着时间的推移,数据重要性会贬低,使用率也下降。这时需要将数据移动到下级存储,匹配适当的可用性、存储空间、以降低存储成本和资源开销
  3. 最终数据将不再被使用。可根据实际情况处理。比如根据法律法规对数据做归档处理。或者做次一级的备份处理,以备后续异常情况的恢复使用。
收起
 2017-06-14
浏览1533
bryanbryan  软件架构设计师 , 金融研发
faye岳彩波beyondmch赞同了此回答
按照我们的实践,数据生命周期分为1)在线热数据:最近一段实践业务经常用到的数据,比如最近三个月2)在线温数据:一段时间内有访问需求但不频繁的数据,比如最近两年3)离线冷数据:因为其他原因导致的对一些数据偶尔查询,对查询时间无要求,比如为法律案件或者审计提供依据等。按照这个依...显示全部

按照我们的实践,数据生命周期分为
1)在线热数据:最近一段实践业务经常用到的数据,比如最近三个月
2)在线温数据:一段时间内有访问需求但不频繁的数据,比如最近两年
3)离线冷数据:因为其他原因导致的对一些数据偶尔查询,对查询时间无要求,比如为法律案件或者审计提供依据等。
按照这个依据,我们会将热数据存储在SSD等高性能设备,将温数据存储在性能相对差点的设备,并且日终将热数据转储到温数据,这样能够保证最近热数据的访问和效率,而冷数据则转储到更廉价的设备,同时专门搭建历史查询系统用于查询,在这种情况下这些业务数据不会有修改需求,只有查询

收起
 2017-06-13
浏览1505
洪烨洪烨  数据库管理员 , 哈尔滨银行
faye赞同了此回答
在线 归档往往是大家比较关注的点 但是往往会漏掉销毁 销毁一般需要在上线的时候就加以考虑 要不就会出现越来越胖的现象显示全部

在线 归档往往是大家比较关注的点 但是往往会漏掉销毁 销毁一般需要在上线的时候就加以考虑 要不就会出现越来越胖的现象

收起
 2017-06-14
浏览1482
岳彩波岳彩波  产品经理 , 无
faye赞同了此回答
数据生命周期应该按照不同的维度来区分,而且不同的行业性质不同,分类方法也不会一样;一般来说都可以分为:1:业务数据2:历史数据每一个企业的数据管理都是需要付出很大代价和人力,不管是商业的方案还是开源的方案,都不可能直接适用,都要根据实际情况参考使用。...显示全部

数据生命周期应该按照不同的维度来区分,而且不同的行业性质不同,分类方法也不会一样;一般来说都可以分为:
1:业务数据
2:历史数据
每一个企业的数据管理都是需要付出很大代价和人力,不管是商业的方案还是开源的方案,都不可能直接适用,都要根据实际情况参考使用。

收起
 2017-06-14
浏览1689

提问者

王巧雷系统工程师, sino-bridge

问题状态

  • 发布时间:2017-06-12
  • 关注会员:4 人
  • 问题浏览:4723
  • 最近回答:2017-06-14