相对于传统存储,对象存储内的海量非结构化数据检索效率如何提升?

参与13

2同行回答

孟威孟威  系统架构师 , IT
相对于传统存储,对象存储的海量非结构化数据的读取(索引)效率更高。对象存储的读取方式,首先每个对象在完全平展的一个平面上,不存在文件级、目录树的概念,所有多项都在一个层级,其次对象存储的访问是通过唯一的Object ID来完成访问的,而这个ID是一个由系统定义,可设置位数的,字母...显示全部

相对于传统存储,对象存储的海量非结构化数据的读取(索引)效率更高。

对象存储的读取方式,首先每个对象在完全平展的一个平面上,不存在文件级、目录树的概念,所有多项都在一个层级,其次对象存储的访问是通过唯一的Object ID来完成访问的,而这个ID是一个由系统定义,可设置位数的,字母大小写加上数字的字符串。一个16位的字符串即为(26+26+10)的16次方,已经足够涵盖所有的数据了。由于对象存储是采用RESTful API的方式访问,即HTTP的通信协议,因此需要访问一个对象的时候只需要主机IP+域名+对象ID即可,如https://hostIP/namespace/AABBCCDD

传统存储是块/文件的读取方式,是通过目录树的方式,每一个文件需要有元数据去存储一个很长的字符串作为这个文件访问的路径,在文件系统访问方式下,首先,这样的路径长度是有限制的,这是由CIFS或NFS的文件系统所限制的;其次,如果要构建索引的话,需要深入到每一个细小的文件数末梢,当文件数量巨量时,实际上这种索引是无法构建的。

收起
IT咨询服务 · 2018-12-05
byethenbyethen  系统工程师 , CMBC
我理解,针对非结构化数据,对象存储应该天生有相较于传统存储更好的数据检索架构,在分布式的架构里,元数据的检查和90%以上的管理工作是分配到智能管理终端的,本质上应该会更快,也非常适合存储非结构化数据。检查,检索效率的提升可以通过优化每个智能管理终端的参数,管理的数据量...显示全部

我理解,针对非结构化数据,对象存储应该天生有相较于传统存储更好的数据检索架构,在分布式的架构里,元数据的检查和90%以上的管理工作是分配到智能管理终端的,本质上应该会更快,也非常适合存储非结构化数据。检查,检索效率的提升可以通过优化每个智能管理终端的参数,管理的数据量来改善。

收起
银行 · 2018-12-05
浏览2067

提问者

chengzuqiao
系统架构师江西省农村信用社
擅长领域: 存储备份软件定义存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-12-03
  • 关注会员:4 人
  • 问题浏览:3321
  • 最近回答:2018-12-05
  • X社区推广