对象存储是如何解决海量非结构化数据的存储以及管理问题的?

参与25

2同行回答

pysx0503pysx0503系统工程师第十区。散人
可以参考对象存储的工作方式来理解。1.象存储的接口是REST风格的,通常是基于HTTP协议的RESTful Web API,通过HTTP请求中的PUT和GET等操作进行文件的上传即写入和下载即读取,通过DELETE操作删除文件能够放弃随机读写接口而采用REST接口的一个重要原因是计算机系统本身的演进...显示全部

可以参考对象存储的工作方式来理解。
1.象存储的接口是REST风格的,通常是基于HTTP协议的RESTful Web API,通过HTTP请求中的PUT和GET等操作进行文件的上传即写入和下载即读取,通过DELETE操作删除文件
能够放弃随机读写接口而采用REST接口的一个重要原因是计算机系统本身的演进呼唤存储系统的变革,目前的计算机的内存大小已经和当初设计POSIX文件系统接口时大不一样了。文件系统诞生于1960年代,当时的内存是以KB为单位的,内存资源非常宝贵,同时外存的数据读写速率也非常低,所以把文件中的一小部分数据加载进内存进行操作显得非常有必要。而如今,计算机的内存是以GB为单位的,往往在几十、几百GB量级,而常常需要存取的文件——如图片、文档等,则是在MB级别,GB以上的文件数量非常少(多为长视频、归档文件、虚拟机镜像等,这一类数据我们会在本系列的后面几篇中进行讨论),外存和网络的吞吐率较之1960年代,也有了数千倍的提升,把一个文件完全加载到内存中进行处理和可视化的已经开销微不足道了,而带来的计算效率和用户体验的提升却是显著的
2扁平的数据组织结构
对比文件系统,对象存储的第二个特点是没有嵌套的文件夹,而是采用扁平的数据组织结构,往往是两层或者三层采用扁平的数据组织结构抛弃了嵌套的文件夹,避免维护庞大的目录树。随着大数据和互联网的发展,如今的存储系统中,动辄数百万、千万甚至上亿个文件/对象,单位时间内的访问次数和并发访问量也达到了前所未有的量级,在这种情况下,目录树会给存储系统带来很大的开销和诸多问题,成为系统的瓶颈

收起
系统集成 · 2017-11-29
浏览2153
ibmfuqiangibmfuqiang系统架构师IBM
请参考ibm cos云对象存储的工作原理图:对象存储有高的扩展性,安全性,可管理性,经济性等优势和特点。Jietu20171129-150251.jpg显示全部

请参考ibm cos云对象存储的工作原理图:
对象存储有高的扩展性,安全性,可管理性,经济性等优势和特点。
Jietu20171129-150251.jpg

Jietu20171129-150251.jpg

收起
系统集成 · 2017-11-29
浏览2000

提问者

徐生韦
系统工程师某保险
擅长领域: 安全等级保护信息安全

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-11-28
  • 关注会员:3 人
  • 问题浏览:4757
  • 最近回答:2017-11-29
  • X社区推广