相对于传统的SAN存储和NAS存储,对象存储有什么优点?

参与58

6同行回答

山东膻羊肉山东膻羊肉  售前技术支持 , ASIA
1.可扩展性——大和小正如我们已讨论的那样,对象存储的设计比诸如横向扩展型NAS那样的传统数据存储的可扩展性范围要更进一步。供应商产品具有多PB级容量,可以存储数十亿个对象。然而,实现高可扩展性不仅仅是简单地测量对象和数据量。注意事项包括:a.对象大小。对象存储处理...显示全部

1.可扩展性——大和小
正如我们已讨论的那样,对象存储的设计比诸如横向扩展型NAS那样的传统数据存储的可扩展性范围要更进一步。供应商产品具有多PB级容量,可以存储数十亿个对象。然而,实现高可扩展性不仅仅是简单地测量对象和数据量。注意事项包括:
a.对象大小。对象存储处理大/小对象方面的表现如何?处理小对象的方式是什么?
b.容量限制。容量是否真的有限制?容量增长是否需要添加更多的硬件或软件节点?可以简单地扩展存储吗?
c.分层和缓存。对象存储该如何管理数据分层?随着容量的增加,大量数据通常是不活跃的,并且存档到更廉价的介质上。在这一点上,分层能力成为关键。闪存介质还可用作缓存或分层时以提高性能。
d.元数据管理。随着对象存储的发展,元数据该如何管理?对象存储的容量大小是否影响搜索性能?
e.对象访问。随着对象存储的发展,针对对象的单独访问时间是否要增加(还是不希望增加)?
最后一点对于构建对象存储特别重要,为多个对象存储/检索请求的提供并行访问,例如CDN网络的后端系统服务。在一个对象存储中增加存储数量是不应增加检索时间的,更重要的是“到第一个字节的时间”,这是从接收点开始将对象回流到请求者所花费的时间要求。
当然,我们不应该忘记对象存储可能需要启动小的对象,不需要有几百TB或PB级初始容量。小的初级容量有助于降低进入并采用对象存储的障碍,随之而来的需求是,以最小的影响从小到大进行容量扩展。
2.数据保护
数据保护的概念涵盖了对象存储中的许多方面。与传统的主存储相比,对象存储可能用于长期保存数据,因此数据耐久性是一个重要因素。我们可以将耐久性视为需要确保由于一系列错误(包括硬件读取失败和数据损坏)而不损坏正在存储中的数据。
与25年前的设备相比,现代硬盘非常可靠。尽管如此,仍然会出现读取错误和其他瞬态问题。对象存储应执行一系列磁盘管理的功能,包括数据清理、CRC的损坏检验,以及对不一致数据的重建。这些后台任务代表了长期保持数据健康的重要性。
第二个要考虑的是对硬件故障的保护。当今,大多数的存储阵列将RAID(独立磁盘冗余阵列)作为一种从硬件故障导致的丢失中恢复数据的方法。随着数据量的上升,RAID在可扩展性方面出现问题。存储供应商已经实现了双重甚至三重奇偶校验,以防止载有大硬盘容量的多个驱动器发生故障。然而,延长驱动器重建时间对RAID对象存储中的大量数据而言是不切实际的。
替代方案是用纠删码的方式来保护数据。纠删码是对数据划分和变换为多个冗余片段的描述过程,恢复原始信息所需的最小计数。例如,编码方案可以将数据翻译成12条数据,重建原始数据所需的其中的任何8条数据。这12条数据可以分布在多个驱动器上,服务器/节点甚至在地理上提供高弹性。在12/8方案中,跨越三个位置分布数据意味着任何一个位置的丢失都是允许的。
对象存储应根据客户需要提供具有可变保护值的纠删码。由于纠删码有处理开销,因此RAID还可以用于保护较小的对象并改善访问性能。当数据在地理上分布时,重建对网络的影响变得尤其重要。因此,纠删码系统的具体实现(以及需要通过WAN检索数据)将直接影响恢复时间和客户SLA(服务水平协议)。当本地LAN延迟较高时,也会发生此问题——任何基于分布式网络的恢复都将一直受到网络性能的影响。快速恢复非常重要,因为不受保护的数据需要快速重新保护,以避免潜在的数据丢失。
3.搜索、索引和元数据
在对象存储中搜索和检索数据的能力是最关键的要求之一。与结构化数据(如数据库和文件系统)相比,对象存储将数据保存在平面层次结构中,只有少量的逻辑或物理分隔(例如存储段或池)。这意味着存储的每个对象都需要有大量的信息,以便于数据检索。
对象存储通常使用的两种方法的其中之一——终端用户设置对象的名称(可能看起来像标准文件名),或者使用系统生成的对象ID(OID)存储和访问对象。对象ID通常是由象存储本身随机生成的长字符串和数字。
在使用OID的情况下,元数据很关键。对象存储用户还可以维护对象ID及其使用的单独数据库。元数据提供关于对象本身(系统元数据)的信息,例如对象大小、访问权限、创建对象的用户等。用户元数据的扩展是与对象存储信息相对应的,用于传递搜索和有索引能力的应用程序。
元数据的搜索性能应该与存储在对象存储自身的数据量相互独立,这是管理可扩展性的关键要求。
4.性能
目前,在我们讨论的需求中,性能是实现可扩展性,数据保护和搜索的一个主题。但在对象存储第一次开发时,性能理念却并非主要因素,因为很多对象存储只是用作长期存档或是备份数据库。随着越来越多的对象平台适用于更加活跃的数据——用作主动存档,或媒体及其他流式内容的资源库。
因此,我们需要对象存储平台提供高吞吐量,线性可扩展功能以及处理高级并发请求。在将对象平台用作CDN(内容交付网络)或其他软件即服务(SaaS)解决方案的后备存储时,对并发性的需求尤其重要。并发就意味着能够同时传输多个对象,每秒处理大量的单个数据请求。在衡量标准方面,通常基于IOPS和吞吐量。
5.安全性
和任何数据存储一样,安全是一个关键特性。在对象存储中,安全特性则涵盖了许多方面。
因为数据可能保存到对象存储区域,多租户变得非常重要。业务用户(企业中的独立部门或独立企业)都希望自己的数据与其他人访问的数据隔离开。这表示拥有了独立的安全凭证,并为每位客户提供了加密密钥。
对象存储通常是凭借HTTP调用对象存储本身提供的认证密钥来提供数据访问。因为数据可能通过公共互联网传输,这些密钥就是凭证,而非普通的用户/密码组合。管理凭证更大的任务是身份管理功能的部分,它还能够提供标准化平台集成,如LDAP和Microsoft Active Directory。
访问单个对象或存储段是通过访问控制列表进行分配,这些列表决定或单个或组级数据访问。许多对象存储会允许通过用于存储和检索数据,同样基于Web的REST接口来设置和管理访问控制。
除身份管理以外,不论在传输还是保存状态都必须要通过数据加密来提供安全性。通常在数据传输状态使用TLS(如HTTPS)实现数据保护。
而数据保存状态时,为了防止物理服务器或驱动器/设备直接访问,应对数据进行加密。加密的具体点或实现可取决于终端用户想要管理加密密钥的方式。数据可以在被添加到对象存储之前或同时被加密。
6.合规性&审计
合规性是数据安全的另一个方面,侧重于满足特定受控的行业(如医疗保健和金融)保存数据的监管要求。
通常,兼容系统需要能规定数据的不可变性,提供对象版本控制(以便可以追踪更改的数据),实现对象锁定或WORM(一写多读),再次用于不可变的数据。相比块系统和基于文件的系统,大多数对象存储不更新数据。这一点提供了一定程度的控制权,符合合规性要求。
审计与合规性互补,能对数据如何在对象存储系统中存储进行追踪。审计追踪还可以提供附加信息,例如层之间的数据迁移,内容校验和验证(确保无篡改)以及对单个数据对象存储段的所有访问。
7.部署模型
对象存储一直在走向软件定义存储(SDS)的前列。大型向外扩展型部署的本质意味着对象存储与商用硬件和供应商所提供软件的成本模式能够进行很好地协作。最终,我们看到许多基于纯软件的对象存储实现。
当然,商用硬件的采用无法满足所有的要求。很多潜在客户可能不情愿或无法管理采购和构建一个定制对象存储解决方案的过程,而宁愿从供应商那里拿到一个软硬件的组合解决方案。
在这种情况下,供应商为了满足客户需求要提供设备,可能会与已经进入客户数据中心的服务器和存储供应商合作。
为什么?因为支持模式,内部技术和部署蓝图都已经是基于首选硬件供应商的了。为了最大的灵活性,供应商可能提供以下三种选项:
纯软件——用作VSA(虚拟存储设备)或本地部署到硬件上。
设备——专用硬件设备,构建为一个白盒子或与要硬件提供商之一配合使用。
云——在公有云中作为一个实例部署。
每一个选项,客户应该希望完全的互操作性和一致的管理接口。
8.协议支持和标准
初期的对象存储是基于HTTP(S)协议,采用基于REST的API调用存储和检索数据。 HTTP的使用很灵活,可以在网络((局部或广域网)上的任何地方访问数据,然而,相比在横向扩展型文件系统中访问数据,为了使用对象存储,应用程序必须进行编码。
因此,供应商已经开始对其产品增加NFS和SMB支持,允许通过基于文件的标准协议来存储和检索数据。为了完全支持向外扩展型功能,其中还应包括支持并行文件系统。
扩展协议支持意味着数据采用了对象存储,现有应用程序能够轻松地进行移植或修改。而值得我们深思的是,与横向扩展型文件存储相比,对象存储的架构差异在于,它是通过使用模拟了文件存储的对象存储提供。
基本数据并不是用基于inode(索引节点)和目录架构进行存储,因此系统崩溃后,FSCK(文件系统扫描)的概念并不适用。与传统文件系统相比,这对(支持文件系统的)对象存储的可扩展性和性能有很大的影响。
协议支持还需要扩展到采用业界标准。对对象存储而言,这意味着要使用Amazon S3和Swift——两个已经获得广泛普及的“标准”。亚马逊凭借2006年发布的S3平台进入对象市场,因为S3 API经历了成长,成熟以及完善的过程,所以成为了许多供应商选择遵循的标准。Swift已经发展成OpenStack项目的对象存储组件。
9.成本
没有价格和总拥有成本讨论的对象存储,不是完整的对象存储。最显而易见的认证模式是基于容量的——向平台增加更多可用或原始容量,并以实际增量为认证支付更多的钱。供应商还可以选择针对每个节点收费,那么终端用户就要确保它们部署的硬件能够提供尽可能大的容量。
还有一个选择就是按功能收费,一些供应商看准了这个机会,构建了一个包含所有功能选项的收费结构。从终端用户的角度来看,这显然更具竞争力,但隐藏的额外成本可能是一个问题。
计算TCO(总拥有成本)提出了关于对象存储平台效率的一个有趣的问题。横向扩展节点设计采用计算,系统内存和磁盘或闪存存储来提供一定的用户容量。
一旦在白盒硬件上构建,软件的效率与构建解决方案的成本直接相关。到目前为止,没有实际的标准来对比对象存储的效率,这是需要行业发展的一个领域。

以上来源于http://www.dostor.com/p/43382.html

收起
系统集成 · 2017-12-01
浏览5060
GaryyGaryy  系统工程师 , 某保险
一、存储成本与数据价值一致面向对象存储系统省去了使企业存储系统时刻处于生产工作状态的复杂和昂贵的管理成本。面向对象存储是基于单一的,平面地址空间,可以实现数据合理自动路由的存储系统,并且根据系统在数据生命周期内的价值和不同阶段形成合理的层级和保护级别。二、...显示全部

一、存储成本与数据价值一致
面向对象存储系统省去了使企业存储系统时刻处于生产工作状态的复杂和昂贵的管理成本。面向对象存储是基于单一的,平面地址空间,可以实现数据合理自动路由的存储系统,并且根据系统在数据生命周期内的价值和不同阶段形成合理的层级和保护级别。
二、较RADI更好地数据可用性
面向对象存储系统经过合理配置后,数据被复制成最少2个副本以保证连续数据的可用性。如果其中一个磁盘宕机,所有集群中的其他磁盘可以进行替代并保证系统照常运行。数据恢复只需要数分钟便可以完成,而且数据可用性不会中断,性能也不会明显退化。相反,当一个RAID磁盘出现故障,系统会慢如蜗牛需要数小时或数天来重建阵列。
三、性能呈现集群性
当新服务器运行在额外增添的对象存储集群设备上,性能就可以突破瓶颈实现进程和I/O大规模并行读写。这一点特别适合于多媒体文件存储和读取。
四、提供无限容量和可扩展性
面向对象存储系统中,没有目录层次结构(树),对象的存储位置可以存储在不同的目录路径中易变检索。这就使得对象存储系统可以精准到每个字节,而且不受文件(对象)数量、文件大小和文件系统容量的限制。
五、内置归档和规范
稳定的归档功能对于任何一个存储系统来说都十分必要。据估计,从创建之后起有70%的数据为被访问一直处于静态,而20%的数据属于半激活状态很少被访问。对于合规性要求,state-of-the-art 对象存储系统会针对新创建的文件内容建立起一个全局唯一的128位ID公开地址。结合数字指纹(hash或者digest),文件标识数值可以被封装起来。活跃的访问和长期归档可共存于同一个单一的基于对象的存储层。
六、文件系统无法实现的元数据利用
面向对象存储系统可以不需要文件名、日期和其他文件属性就可以查找文件。他们还可以使用元数据应用服务水平协议(SLA),路由协议,备灾和灾难恢复,备份和数据删除删除以及自动存储管理。这些是文件系统所不能解决的问题。
七、无需备份
一个设计良好的对象存储系统并不需要备份。如果需要的话,多个副本可以确保数据始终保持可用状态,而且异地灾难恢复备份也可以被自动创建。一旦主集群不可用,可以使用备份。因为集群中所有内容的UUID与副本中所存储的UUID是一致的。而这些在文件系统中是几乎不可能发生的,它们需要克服繁琐的备份窗口和既漫长有艰难的备份还原操作。

八、自动负载平衡
一个设计良好的对象存储集群几乎是完全对称的,这意味着每个节点都是独立的,提供了集群的切入点,并运行相同的代码。这使得工作量可以平均分配到集群中的所有节点上,避免NAS和集群文件系统中常见的热节点问题的出现。自动负载均衡可以让I/O自动选择合理的节点,保证系统性能最大化。
九、常规移植
在对象存储架构中,可以免却传统硬件移植或者大规模硬件升级的麻烦。对象存储结构只需要采用常规移植就可以实现。整个过程中都可以随时添加新的设备并会自动加载到集群中,而旧的设备单元只需要一个命令就可以解除。
十、无需硬件锁定
根据存档和法规要求,存储的数据需要保持数年。技术更新的成本和复杂性是一个需要考虑的重要因素,特别是连接到昂贵的专有硬件平台系统,这种因素更加需要予以重视。部署只有软件的对象存储系统而无需考虑底层硬件,允许用户选择使用任何一种商业服务器技术和无中断升级(当新硬件被推出的时候)。
十一、更高的磁盘利用率
相比块存储,对象存储可以提供更高的磁盘利用率。对象存储可以让你知道文件大小信息,因此无需采用基于块的超额拨备解决方案,这意味着对象存储可以提高至少90%的磁盘利用率,而基于块系统——即使得到最优优化后,磁盘利用率最多能提高70%。
十二、高可用性和灾难恢复
高可用性和灾难恢复内置在对象存储体系中。故障恢复并不需要专门HA配置来处理。 对象存储,与出版商和内容分发的用户相结合,可以很容易地建立一个高可用性和灾难恢复配置。
十三、化繁为简
常规存储都使用一些标准协议,其他的则有专有的接口和架构——这些存储性能快达到极限不能有任何提升了。而对象存储可以被看作是得益于网络协议栈模型的一个新兴开放和分层存储架构的并行可扩展底层,它提倡的是这样一种概念:允许其内容可以连接至更高层次和各多功能的数据库中。
十四、新旧互不干扰
触发基于服务器信息的传统文件的归档是看响应时间。这使得IT管理没有其他选择,只能从服务器中删除一些“旧数据”腾出空间给“新数据”。由于对象存储不会因对象计数功能的分层文件系统而降低性能。因此不会因技术原因而让对象存储集群的内容删除,它可以简单地称为“归档到位”。

收起
保险 · 2017-11-30
浏览5054
韩斐韩斐  技术经理 , 汉中供电局
对象存储具有以下优点:1、降低数据存储成本2、数据可用性3、大容量和高扩展性4、容灾备份优势5、性能优势显示全部

对象存储具有以下优点:
1、降低数据存储成本
2、数据可用性
3、大容量和高扩展性
4、容灾备份优势
5、性能优势

收起
能源采矿 · 2017-11-29
浏览5046
s6dongs6dong  it技术咨询顾问 , 东软集团
相对于传统的SAN存和NAS存储,对象存储具有以下优点:1、降低数据存储成本对象存储可以使用低廉的X86服务器+对象存储软件实现,存储成本比较低。2、数据可用性RAID,当一个RAID磁盘出现故障,系统会慢如蜗牛需要数小时或数天来重建阵列。大多数对象存储使用纠删码技术存储数据,经过...显示全部

相对于传统的SAN存和NAS存储,对象存储具有以下优点:

1、降低数据存储成本
对象存储可以使用低廉的X86服务器+对象存储软件实现,存储成本比较低。

2、数据可用性
RAID,当一个RAID磁盘出现故障,系统会慢如蜗牛需要数小时或数天来重建阵列。
大多数对象存储使用纠删码技术存储数据,经过合理设施后,可以以较低的副标数量保证数据的可用性。而数据恢复只需要数分钟便可以完成,而且数据可用性不会中断,性能也不会明显退化。

3、大容量和高扩展性
对象存储系统中,没有目录层次结构(树),对象的存储位置可以存储在不同的目录路径中易变检索。这就使得对象存储系统可以精准到每个字节,而且不受文件(对象)数量、文件大小和文件系统容量的限制。
对象存储系统可以不需要文件名、日期和其他文件属性就可以查找文件。他们还可以使用元数据应用服务水平协议(SLA),路由协议,备灾和灾难恢复,备份和数据删除删除以及自动存储管理。这些是文件系统所不能解决的问题。

4、容灾备份优势
对象存储系统如果设计合理,并不需要备份。多个副本可以确保数据始终保持可用状态,而且异地灾难恢复备份也可以被自动创建。、

5、性能优势
利用分布式实现大规模I/O并行读写。每个节点都是独立的,提供了集群的切入点,并运行相同的代码。这使得工作量可以平均分配到集群中的所有节点上,避免NAS和集群文件系统中常见的热节点问题的出现。自动负载均衡可以让I/O自动选择合理的节点,保证系统性能最大化。

收起
互联网服务 · 2017-11-29
浏览5242
ibmfuqiangibmfuqiang  系统架构师 , IBM
您好。对比传统存储,对象存储有自己独特的优势,特别是针对海量非结构或半结构化数据的管理。传统的SAN File存储适合 SoR (System of Record)数据量小对IOPS要求高,响应时间要求短交易型应用,结构化 Block 存储不适合System of Engagement 数据量大对OPS (Operation per Seco...显示全部

您好。对比传统存储,对象存储有自己独特的优势,特别是针对海量非结构或半结构化数据的管理。

传统的SAN File存储

  • 适合 SoR (System of Record)
    数据量小
    对IOPS要求高,响应时间要求短
    交易型应用,结构化 Block 存储
  • 不适合System of Engagement
    数据量大
    对OPS (Operation per Second)要求高,响应时间不太敏感
    非结构化
    新的互联网编程模式:Restful API ,简单通用
    成本敏感,在价值尚未发现之前
  • 不适合System of Insight data landing
    成本敏感,在价值尚未发现之前
    新的编程模式 Cognitive API
    非结构化

请看下表:
Jietu20171129-152159.jpg

Jietu20171129-152159.jpg

Jietu20171129-142128.jpg
Jietu20171129-142128.jpg

收起
系统集成 · 2017-11-29
浏览5130
pysx0503pysx0503  系统工程师 , 第十区。散人
取自网上的答案差异点\产品 ServerSAN 分布式NAS 分布式对象存储 接口协议 块(SCSI协议)文件(NFS、CIFS协议)对象(OpenStack SWIFT、Amazon S3)时延 较低(<10ms左右) 中(10ms~100ms) 高(60ms以上)一致性 强一致性 强一致性 最终一致性应用场景 分布式云平台、 文件共...显示全部

取自网上的答案

差异点\产品 ServerSAN 分布式NAS 分布式对象存储
接口协议 块(SCSI协议)文件(NFS、CIFS协议)对象(OpenStack SWIFT、Amazon S3)
时延 较低(<10ms左右) 中(10ms~100ms) 高(60ms以上)
一致性 强一致性 强一致性 最终一致性
应用场景 分布式云平台、 文件共享, 云服务

        数据仓库、         如媒资、                如Amazon
        虚拟机                医疗影像归档、            S3;客户为个人客户
        客户为企业客户        卫星图片

ServerSAN
1, 适配云化环境,有良好的扩展伸缩能力
2,适配未来云化环境下的自动资源分发以及资源管理需求。
3,由于企业的云数据中心主要承载企业业务,因此对性能时延也有一定的要求,设计采用了支持IB组网,支持SSD cache加速等提高性能的设计。
4,数据需要有强一致性,任何时刻的数据必须保证一致性以及可靠性。(为了性能采用多副本跨界点分布等方式来保证数据可靠性)
5,由于数据分块以及跨节点的数据转发,并不适合大文件顺序流读写场景。
分布式NAS:
目标是面对高性能计算,大吞吐量的数据处理,大数据处理等企业存储需求。
1, 为了大吞吐量,支持高效IB互联等技术
2, 支持SSD作为cache加速等
3, 应用场景,媒资、HPC等场景都是使用NAS来做的,支持NFS/CIFS接口
对象存储:
1, 为了满足大并发,我们的节点就不能有主备等角色之分,而是每个节点都能处理业务,而不是内部进行转发

2,元数据采用链接地址的方式转嫁给最终个人用户去保存,减少元数据的结构,快速响应(serversan中这部分资源管理采用X86 CPU资源,并且在存储中保存元数据LUN)

超大规模数据管理能力(性能不下降)是Object存储相对于文件存储的最大优势。File Storage采用了树形结构对所有文件和目录进行管理,当文件或目录过多时,文件或目录的检索性能就会极大下降。Object Storage只有目录和对象两层结构,这种扁平化的结构即使对象数量达到百亿级别,对象的检索速度依然不会有大的变化。但对象存储接口是应用级接口,而不是系统级接口,因此传统应用迁移到对象存储时需要重新开发,这是对象存储规模应用的最大困难。
1, Object storage相对于file storage 核心差异有几点

    海量并发,直接面对终端用户(1k-1M以上的并发),文件存储一般并发都在1K以下
    不确定的数据增长,超大容量的弹性扩展

2, 为了实现终端用于的海量并发以及超大容量的扩展,传统B树等元数据组织模式是无法满足这种需求的
3, 文件存储因为面对的是企业客户访问需求因此通过CIFS/NFS等协议,设计理念就是为了解决文件的共享,并不是为了解决大规模的网络用户访问

    因此,对象存储一般采用HTTP协议来传输数据。
收起
系统集成 · 2017-11-29
浏览5262

提问者

徐生韦
系统工程师某保险
擅长领域: 安全等级保护信息安全

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-11-28
  • 关注会员:11 人
  • 问题浏览:9927
  • 最近回答:2017-12-01
  • X社区推广