在对象存储系统中如何实现数据的分层管理?

对于传统集中式san存储,我们有数据的冷热属性之分,热数据放在快速盘上,冷数据放慢速盘上,有了数据的分层管理机制。同时也会结合业务的数据保留策略定义在线,近线和离线数据生命周期管理。那么到了对象存储,由于其解决的往往是海量非结构化数据的在线存储问题,那么是否有必要做...显示全部

对于传统集中式san存储,我们有数据的冷热属性之分,热数据放在快速盘上,冷数据放慢速盘上,有了数据的分层管理机制。同时也会结合业务的数据保留策略定义在线,近线和离线数据生命周期管理。那么到了对象存储,由于其解决的往往是海量非结构化数据的在线存储问题,那么是否有必要做冷热数据的分层和数据生命周期管理?如果做,技术上如何实现?比如利用对象元数据做生命周期管理等

收起
参与9

查看其它 1 个回答孟威的回答

孟威孟威系统架构师IT

数据生命周期管理的角度来看到数据,对象存储系统数据分层管理提供的方案是结合NAS/并行文件系统、块文件存储,将对象存储作为其中温冷数据的一个资源池,从而做到数据分层,优化存储成本。

银行业传统的方式全部数据使用集中高端存储,没有实现优化的分层存储架构,带来的问题是非结构化数据影像整体存储性能,并且这些数据长期存放与高端存储对存储的高IOPS也是一种浪费。

对象存储有利于银行业优化分层存储架构,存储体系提供分层(热、温、冷)服务,用于不同的应用服务等级,同时存储对应用完全透明。

对象存储提供全新的优化分层存储架构,根据业务系统的相关重要性进行分层,例如影像平台进行调度管理的数据库使用传统集中式的高端存储,保证数据库的高响应,非结构化的数据使用对象存储进行存储。根据对象存储的扩容特点,将对象存储制作成二级存储资源池,所有非结构化数据存放于“池”中。性能线性增长,支持灵活扩展,且在超大规模环境100PB以上经久验证。

考虑非结构化数据的性能和兼容性,将对象存储作为二级存储池的设计根据用户的具体应用场景进行分析,譬如用户是做备份、归档、还是代替现有文件系统存储海量数据等。比如,对于影像系统来说,如果用户使用分布式并行文件系统,可在后端加入对象存储作为一个分层的存储解决方案,分布式并行文件系统负责性能,而对象存储负责容量的无限制扩展。

综上,纵观整个存储的发展,块存储、文件存储、对象存储,直到现在三块主要的存储技术分而治之,共同构筑起存储分层的概念,这也是数据生命周期管理最重要的实现。存储分层架构有明显的好处:

  1. 从数据使用热度上区分其数据的使用价值,让IT设施的性能为价值数据服务。
  2. 优化整体存储方案的成本结构,保护既有存储资产的前提下能够突破海量数据的存储的限制。
  3. 从存储本身考虑,在扩展性、性价比、可用可靠性上,由于对象存储技术的出现找到新的平衡点。
IT咨询服务 · 2018-12-05
浏览2285

回答者

孟威
系统架构师IT
擅长领域: 存储备份软件定义存储

孟威 最近回答过的问题

回答状态

  • 发布时间:2018-12-05
  • 关注会员:3 人
  • 回答浏览:2285
  • X社区推广