在对象存储系统中如何实现数据的分层管理?

对于传统集中式san存储,我们有数据的冷热属性之分,热数据放在快速盘上,冷数据放慢速盘上,有了数据的分层管理机制。同时也会结合业务的数据保留策略定义在线,近线和离线数据生命周期管理。那么到了对象存储,由于其解决的往往是海量非结构化数据的在线存储问题,那么是否有必要做冷热数据的分层和数据生命周期管理?如果做,技术上如何实现?比如利用对象元数据做生命周期管理等

参与9

2同行回答

zrosinesszrosiness  系统架构师 , JSRCB
对象存储架构有别于传统存储,对数据采用扁平化管理,对象由文件和元数据共同组成,文件存储在磁盘中,元数据存放在元数据服务器。当client对数据进行读写时,先访问元数据,根据元数据反馈的数据存储位置直接到对应的数据服务器上读取数据,由于数据是分布式存在,当存储服务器越多,读写...显示全部

对象存储架构有别于传统存储,对数据采用扁平化管理,对象由文件和元数据共同组成,文件存储在磁盘中,元数据存放在元数据服务器。当client对数据进行读写时,先访问元数据,根据元数据反馈的数据存储位置直接到对应的数据服务器上读取数据,由于数据是分布式存在,当存储服务器越多,读写速度提升越大,通过这种方式,实现读写快的目的。现在大部分厂商的产品也有冷热数据分层的方式和数据生命周期管理,生命周期管理分为两种,一是对象的生命周期,二是对象在缓冲池中的生命周期。对象存储使用特定算法将访问次数比较频繁的热数据缓存在前端调整缓冲池,而访问量比较低的数据存储在后端低速存储池。对于对象在存储中的生命周期,可通过应用程序设置。

收起
银行 · 2018-12-05
浏览2081
孟威孟威  系统架构师 , IT
数据生命周期管理的角度来看到数据,对象存储系统数据分层管理提供的方案是结合NAS/并行文件系统、块文件存储,将对象存储作为其中温冷数据的一个资源池,从而做到数据分层,优化存储成本。银行业传统的方式全部数据使用集中高端存储,没有实现优化的分层存储架构,带来的问题是非结...显示全部

数据生命周期管理的角度来看到数据,对象存储系统数据分层管理提供的方案是结合NAS/并行文件系统、块文件存储,将对象存储作为其中温冷数据的一个资源池,从而做到数据分层,优化存储成本。

银行业传统的方式全部数据使用集中高端存储,没有实现优化的分层存储架构,带来的问题是非结构化数据影像整体存储性能,并且这些数据长期存放与高端存储对存储的高IOPS也是一种浪费。

对象存储有利于银行业优化分层存储架构,存储体系提供分层(热、温、冷)服务,用于不同的应用服务等级,同时存储对应用完全透明。

对象存储提供全新的优化分层存储架构,根据业务系统的相关重要性进行分层,例如影像平台进行调度管理的数据库使用传统集中式的高端存储,保证数据库的高响应,非结构化的数据使用对象存储进行存储。根据对象存储的扩容特点,将对象存储制作成二级存储资源池,所有非结构化数据存放于“池”中。性能线性增长,支持灵活扩展,且在超大规模环境100PB以上经久验证。

考虑非结构化数据的性能和兼容性,将对象存储作为二级存储池的设计根据用户的具体应用场景进行分析,譬如用户是做备份、归档、还是代替现有文件系统存储海量数据等。比如,对于影像系统来说,如果用户使用分布式并行文件系统,可在后端加入对象存储作为一个分层的存储解决方案,分布式并行文件系统负责性能,而对象存储负责容量的无限制扩展。

综上,纵观整个存储的发展,块存储、文件存储、对象存储,直到现在三块主要的存储技术分而治之,共同构筑起存储分层的概念,这也是数据生命周期管理最重要的实现。存储分层架构有明显的好处:

  1. 从数据使用热度上区分其数据的使用价值,让IT设施的性能为价值数据服务。
  2. 优化整体存储方案的成本结构,保护既有存储资产的前提下能够突破海量数据的存储的限制。
  3. 从存储本身考虑,在扩展性、性价比、可用可靠性上,由于对象存储技术的出现找到新的平衡点。
收起
IT咨询服务 · 2018-12-05
浏览2209

提问者

lzg21st
lzg21st41437
存储工程师brcb
擅长领域: 存储灾备分布式架构

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-12-04
  • 关注会员:3 人
  • 问题浏览:3375
  • 最近回答:2018-12-05
  • X社区推广