非结构化数据的归档?

大量的非结构化数据,在系统运行几年后会越来越大,如何进行有效的归档?历史数据又要可查,但又不能影响现有业务系统的性能。专家们有没有好的方案?

4回答

荣重实荣重实  技术总监 , XSKY
非结构化数据归档,通常会通过备份归档软件,手动或自动将数据从在线系统分离;传统介质以带库和VTL为主,新介质方案以光磁替代。归档效率跟数据内容、数据量、网络和介质类型有关,同时也跟对数据的生命周期管理方式有关;现有方案基本上以时间戳为主要判断依据,根据政策指向,主动将...显示全部

非结构化数据归档,通常会通过备份归档软件,手动或自动将数据从在线系统分离;传统介质以带库和VTL为主,新介质方案以光磁替代。
归档效率跟数据内容、数据量、网络和介质类型有关,同时也跟对数据的生命周期管理方式有关;现有方案基本上以时间戳为主要判断依据,根据政策指向,主动将超过时间戳的数据推送归档。
历史数据可查对于传统介质,需要有个归档数据先恢复再查询的过程,新的光磁方案可以跳过恢复过程直接查询。
一般归档数据查询不会直接恢复到原有生产环境,所以不会影响现有业务性能;新的光磁方案直接在归档端查询,也不会影响现有业务性能。
光磁方案也是可以拆分成对象存储+蓝光两部分来做,看需求,针对数据时效性来实际分析。

收起
 2020-07-21
浏览359
JerryJerry  系统架构师 , 某金融公司
非结构化数据归档的难以程度主要看建设的时候数据存储的规划,有没有考虑冷热分离,或者按照日期之类的规则进行存储。有规划日后好做分离,但是任由各系统自己存储再想做分离就特别难了,首先是数据冷热的识别,再是数据的分离,因为都涉及业务逻辑,困难重重……...显示全部

非结构化数据归档的难以程度主要看建设的时候数据存储的规划,有没有考虑冷热分离,或者按照日期之类的规则进行存储。有规划日后好做分离,但是任由各系统自己存储再想做分离就特别难了,首先是数据冷热的识别,再是数据的分离,因为都涉及业务逻辑,困难重重……

收起
 2020-07-17
浏览482
在当前的技术条件下,对象存储是主流的归档平台方案。从我这边做的项目来看,针对这个问题,有三种不同的处理方案。第一种是保持现有的存储架构,新添加对象存储作为归档层,从而降低现有存储的存储压力,同时为了保证访问的连续性,应用会接入两套存储并进行统一访问。第二种方案是直...显示全部

在当前的技术条件下,对象存储是主流的归档平台方案。从我这边做的项目来看,针对这个问题,有三种不同的处理方案。第一种是保持现有的存储架构,新添加对象存储作为归档层,从而降低现有存储的存储压力,同时为了保证访问的连续性,应用会接入两套存储并进行统一访问。第二种方案是直接用对象存储替换现有存储架构,将所有数据存储在对象存储中。第三种方案是横向扩展 NAS+ 对象存储层来替换现有的存储架构,数据归档由存储内部完成,无需应用介入。具体采用何种方案取决于运维人员的精力分配以及应用的需求。

收起
 2020-07-17
浏览431
由于数据的长尾效应,非结构化数据需要归档,同时,还要考虑数据获取的问题。数据价值的体现,不在于把它存储得多么好,而是能够对数据和利用,让它给我们带来各种形式的价值。 而归档可以选择多种方式:单位容量成本更低的归档层、对象存储、多云,甚至备份、异地版本管理等等。...显示全部

由于数据的长尾效应,非结构化数据需要归档,同时,还要考虑数据获取的问题。数据价值的体现,不在于把它存储得多么好,而是能够对数据和利用,让它给我们带来各种形式的价值。

而归档可以选择多种方式:单位容量成本更低的归档层、对象存储、多云,甚至备份、异地版本管理等等。

收起
 2020-07-17
浏览410

提问者

hnroger技术经理, 生命人寿保险有限公司信息技术中心

对象存储选型优先顺序调查

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2020-07-15
  • 关注会员:5 人
  • 问题浏览:1843
  • 最近回答:2020-07-21