对象存储如何继承文件存储的便利性?

文件存储使用和运维的便利性如何继承,包括:
1、文件存储支持FTP、NFS等多种挂载协议,应用使用起来和本地文件没有差别,比较便利;
2、文件存储有直观的目录结构,增删改查等运维操作,比较便利;

参与12

3同行回答

nkj827nkj827项目经理长春长信华天
1、对象存储- 典型设备: 内置大容量硬盘的分布式服务器(swift, s3),多台服务器内置大容量硬盘,安装上对象存储管理软件,对外提供读写访问功能。主要是集中式或分布式的NAS类应用,以灵活的共享文件系统为特色,承载百万文件量和TB级别的文件类应用。对象存储- 使用场景: (适合更新...显示全部

1、对象存储- 典型设备: 内置大容量硬盘的分布式服务器(swift, s3),多台服务器内置大容量硬

盘,安装上对象存储管理软件,对外提

供读写访问功能。主要是集中式或分布式的NAS类应用,以灵活的共享文件系统为特色,承载百万文

件量和TB级别的文件类应用。

对象存储- 使用场景: (适合更新变动较少的数据,没有目录结构, 不能直接打开/修改文件)

比如说:图片存储、视频存储、文件、软件安装包等。主要是特定行业的海量非结构化数据的应用

场景。由于对象存储采用扁平的文件

组织方式,所以在文件量上升至千万、亿级别,容量在PB级别的时候,这种文件组织方式下的性能

优势就显现出来了。

之所以出现对象存储这种东西,是为了克服块存储与文件存储各自的缺点,发扬各自的优点。简单

来说文件存储读写慢,利于共享。能否弄一个读写块,利于共享的存储出来呢?

于是就有了对象存储。一个文件包含了属性(术语:metadata,元数据,例如该文件的大小、修改时

间、存储路径等)以及内容(数据)。

而对象存储则将元数据独立出来了,控制节点叫元数据服务器(服务器+对象存储管理软件),里面主

要负责存储对象的属性(主要是对象的数据被打散存放到了那几台分布式服务器中的信息)而其他负

责存储数据的分布式服务器叫做OSD,主要负责存储文件的数据部分。当用户访问对象,会先访问元

数据服务器,元数据服务器只负责反馈对象存储在哪里OSD,假设反馈文件A存储在B、C、D三台OSD

,那么用户就会再次直接访问3台OSD服务器去读取数据。

这时候由于是3台OSD同时对外传输数据,所以传输的速度就会加快了,当OSD服务器数量越多,这种

读写速度的提升就越大,通过此种方式,实现了读写快的目的。

另一方面,对象存储软件是有专门的文件系统的,所以OSD对外又相当于文件服务器,那么就不存在

共享方面的困难了,也解决了文件共享方面的问题,所以对象存储的出现,很好的结合了块存储和

文件存储的优点

2、文件存储- 典型设备: FTP、NFS服务器为了克服块存储文件无法共享的问题,所以有了文件存

储。在服务器上架 设FTP与NFS服务,就是文件存储。

  • 使用场景:日志存储、多个用户有目录结构的文件存储共享。

文件存储不在有目录树深度的问题,历史和近线数据有同样的访问效率。而对象存储多采用分布式

架构,可以在商用x86服务器上轻松构

建对象存储,磁盘介质也大多采用低速的SATA盘,所以在成本上也具优势。

也就是说,主机A可以直接对文件存储进行文件的上传和下载,与块存储不同,主机A是不需要再对

文件存储进行格式化的,因为文件管理功能已经由文件存储自己搞定了。对象存储实际上更贴近

http的应用。文件存储通常需要一个app 的服务器将文件存储挂载到本地。

优点:(1)造价低:随便一台机器就可以,另外普通的以太网就可以,根本不需要专用的SAN网络,

所以造价低。(2)方便文件共享

缺点:(1)读写速率低,传输速率慢:以太网,上传下载速度较慢,另外所有读写都要1台服务器里

面的硬盘来承受,相比起磁盘阵列动不动就十几上百块硬盘同时读写,速率慢了许多。

总结:对象存储是直到云计算和大数据的概念强推,才慢慢进入公众视野。文件存储基本上都还是

在专有的局域网络内部使用。对象云端存储的优势场景却是互联网或者公网,主要解决海量数据,

海量并发访问的需求。基于互联网的应用才是对象存储的主要适配(这个条件同样适用于云计算,基

于互联网的应用最容易迁移到云上)。

收起
系统集成 · 2022-07-05
浏览1215
seposalseposal其它某证券
当你体验过像应用服务一样的对象存储,就知道在os层服务的nas是多么的“不好用”。但这里最本质原因是习惯的打破。对象存储没有目录结构,但它在海量数据的场景下时间复杂度为1,也就是快。它的操作也支持所谓的增删改查,只是变成基于http的put get delete,为什么没改?因为对象存...显示全部

当你体验过像应用服务一样的对象存储,就知道在os层服务的nas是多么的“不好用”。

但这里最本质原因是习惯的打破。对象存储没有目录结构,但它在海量数据的场景下时间复杂度为1,也就是快。

它的操作也支持所谓的增删改查,只是变成基于http的put get delete,为什么没改?因为对象存储不适用于这个场景。

收起
证券 · 2022-07-12
浏览1089
zhongshizhongshi产品总监XSKY
现在对象存储与NAS和HDP的协议互通已经非常成熟了,完全可以做到与原来使用习惯一致,直接用NAS或者HDP协议写入到对象存储;还有一些厂商可以提供对象存储客户端,实现在OS层面模拟NAS的使用,相比直接使用NAS协议,增加了更多API的调用,实际使用可能更加方便;现在使用对象存储,基本上...显示全部

现在对象存储与NAS和HDP的协议互通已经非常成熟了,完全可以做到与原来使用习惯一致,直接用NAS或者HDP协议写入到对象存储;还有一些厂商可以提供对象存储客户端,实现在OS层面模拟NAS的使用,相比直接使用NAS协议,增加了更多API的调用,实际使用可能更加方便;现在使用对象存储,基本上可以0门槛进行NAS存储替换,越来越多的非结构化数据管理平台采用对象后端存储,感觉是场景越大越适合。

收起
软件开发 · 2022-08-17
浏览1029

提问者

肖根元
深圳深圳证券通信公司
擅长领域: 服务器分布式系统存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-07-05
  • 关注会员:4 人
  • 问题浏览:2289
  • 最近回答:2022-08-17
  • X社区推广