有没有识别非结构化数据中冷数据的好方法?

系统运行多年之后,会有大量的数据变为几乎不访问的冷数据。如果是结构化存储,一般可以用相应的字段来确定归档的范围。但是对于非结构化数据,是不是有更好的方案?比如说访问计数来识别哪些数据是无用的。希望专家指点一下

参与9

3同行回答

有,我们提供非结构化数据的数据洞查工具,可以帮助用户去识别数据,包括数据的冷热程度,并可以按照预置的策略做相应的处理。支持众多的第三方平台的监管和操作。对于数据湖平台中的数据,我们提供数据生命周期管理的工具,支持数据的冷热处理。...显示全部

有,我们提供非结构化数据的数据洞查工具,可以帮助用户去识别数据,包括数据的冷热程度,并可以按照预置的策略做相应的处理。支持众多的第三方平台的监管和操作。

对于数据湖平台中的数据,我们提供数据生命周期管理的工具,支持数据的冷热处理。

收起
硬件生产 · 2020-07-17
浏览1287
daweydawey系统管理光大证券股份有限公司
对象存储一般已经算是归档存储了(成本较普通文件存储便宜)。ecs没有依据对象访问频度来进一步对它进行处理的机制。但用户仍能依据应用需要,让ecs对某些符合条件的对象采取进一步的行动(变更桶的存储,删除等)。ecs的生命周期管理可以让存储代用户完成这些操作,但用户须通过...显示全部

对象存储一般已经算是归档存储了(成本较普通文件存储便宜)。ecs没有依据对象访问频度来进一步对它进行处理的机制。但用户仍能依据应用需要,让ecs对某些符合条件的对象采取进一步的行动(变更桶的存储,删除等)。ecs的生命周期管理可以让存储代用户完成这些操作,但用户须通过配置policy来告诉存储如何做。
数据有没有用,或何时变得无用,这些是要用户告诉对象存储的。对象存储目前不能自习。
对象的meta data(系统的和用户自定义的)可用来过滤那些需要进一步做生命周期处理的对象。

收起
证券 · 2020-07-14
浏览1412
这个还是需要结合具体的业务场景来看,有的业务场景下的数据时间特性很明显,可以根据时间特性来进行区分。有的业务场景数据的冷热比较明显,也就是有些数据会被频繁访问,这些可以根据访问计数来进行区分。我这边也接触到有的客户的场景是,某些数据可能很久都没有访问,但是偶尔还...显示全部

这个还是需要结合具体的业务场景来看,有的业务场景下的数据时间特性很明显,可以根据时间特性来进行区分。有的业务场景数据的冷热比较明显,也就是有些数据会被频繁访问,这些可以根据访问计数来进行区分。我这边也接触到有的客户的场景是,某些数据可能很久都没有访问,但是偶尔还是会被访问,但是访问可能也就一两次,这种情况下可能就很难预先来进行区分。所以由的客户采用的做法是温数据的处理方式,不再强求数据分冷热,而是所有的数据都放在那里,这样来保证整体的访问体验。

收起
硬件生产 · 2020-07-17
浏览1274

提问者

lsx
lsx003
信息技术经理大唐控股
擅长领域: 灾备服务器数据库

问题来自

相关问题

问题状态

  • 发布时间:2020-07-07
  • 关注会员:4 人
  • 问题浏览:2701
  • 最近回答:2020-07-17
  • X社区推广