zrosiness
作者zrosiness·2018-12-10 08:57
系统架构师·JSRCB

银行业百TB级非结构化数据对象存储建设难点剖析

字数 21949阅读 6533评论 0赞 6

1 前言

随着大数据时代的到来,使得诸多互联网金融企业服务更加智能化、营销更加精准化,作为银行业首当其冲面对来自互联网金融的强大压力,如何在新时代继续保持领先,准确识别金融风险,提供更加优质和差异化服务,是银行业首先想到的问题。大数据环境下,非结构化数据结构不固定,没有预定义的结构模型的特性,使得处理这些数据文件,通常要求存储具有高速性和容量快速扩展等能力,传统的存储架构面对这些新的诉求往往不能很好满足需求,存在着扩展瓶颈、带宽瓶颈和磁盘瓶颈等问题。

从银行业的角度出发,分布式存储很好的解决了上述问题,它提供了一种可靠(reliability)、可扩展(scalability)、性能良好(performance)的分布式存储(distributed)。存储在其中的对象不依赖物理路径,对应用程序提供标准统一的接口,使得银行业百TB级甚至更大量级非结构化数据的存储成为可能,性能强大,扩展灵活,消除了单点故障,且在有新的节点加入或节点故障时,数据自动平衡和恢复,同时可将数据以多副本等方式同步或异步到不同的数据中心防止了单台存储节点故障,甚至数据中心意外情况下数据的安全性。

但是,分布式存储作为一种全新的SDS设计思想,虽经过十余年的发展,但在实际运用和建设维护过程中还存在很多难点。因此,12月6日 TWT社区组织多位存储专家和众多嘉宾,针对各行在对象存储建设和使用过程中遇到的疑难困惑问题进行了深入学习交流和探讨。对于本次活动各位嘉宾分享的问题,归纳总结为四个方面,分别为:对象存储建设、对象存储管理、传统存储向对象存储迁移、产品对比介绍。以下是活动交流内容详情。

2 对象存储建设

2.1 【Q】分布式对象存储的建设,都需要做哪些前期调研?

[A] zrosiness 系统架构师 , JSRCB
对象存储的前期调研工作非常重要,毫不夸张的说,深入详细的调研,完成了存储建设60%以上的工作。主要有以下几个方面需要完成:
1)对象存储的使用者。包括使用对象对对象存储的了解和接受程度,使用者或应用对对象存储的权限要求
2)使用环境和数据规模。明确对象存储的使用环境,不同的使用环境,采用的方式可能完全不能;其次要清楚了解半年、一年、三年的对象存储的数据使用量,合理做好容量规划。
3)网络环境。网络环境从另一方面决定了今后对象存储建设的成功性,需要考虑现有网络环境是否能满足对象存储要求,是否需要做到各网络环境隔离,接入现有网络还是新建存储网络。

[A] huaweitac 系统架构师 , sandstone
1.应用是否支持S3? 不支持能改吗?不能改则无法建设。能改则可以往下。如果支持是最好。
2.数据量的大小,数据量和文件量。

[A] wmenghz 系统架构师 , IT
结合业务实际需求,选择适合对象存储的场景,企业在建设分布式对象存储需要几个重要的因素:

  1. 提升运维管理和运维操作能力
  2. 提升海量数据的安全性
  3. 站点容灾、数据保护和高可用设计,确保数据可靠性
  4. 对象存储的具体方案如何设计,建设优化分层存储结构。
  5. 应用改造及迁移,保障业务连续性。
    5.1 调研研对象存储具体方案该如何设计及对企业现有系统的影响。
    方案设计方面,需要根据用户的具体应用场景进行分析,譬如用户是做备份、归档、还是代替现有文件系统存储海量数据等。比如,对于影像系统来说,如果用户使用GPFS做并行分布式文件系统,可在后端加入对象存储作为一个分层的存储解决方案,GPFS负责性能,而对象存储负责容量的无限制扩展。
    方案设计方面,还需要考虑海量数据的容量、安全性、高可用性设计。
    对企业现有系统的影响:主要是对于应用接口的修改。如果用户的应用支持标准的对象存储接口,则不需要更改应用,将cleversafe直接使用和访问;或者用户具备cleversafe的合作伙伴支持的应用,比如备份、归档类的应用作为gateway;
    但是对多数用户来说,需要对应用的接口进行更改,改为标准的S3等cleversafe支持的标准接口。
    此外,如果是替换原有的文件系统等,需要考虑数据的迁移等。
    5.2 调研如果使用对象存储技术对现用存储进行改造,规避新技术引入的风险,保障业务连续性。
    对象存储是一款对象存储的解决产品和方案,所以相比传统的块存储,文件存储来说,它的一个很大的不同点就是访问方式的不同,是基于REST API的对象存储接口进行访问。
    实际中,主要的改变和影响是体现在应用方面,需要对用户应用的接口进行更改,改为标准的S3等对象存储支持的接口。
    但是从长远角度来说,对象存储是未来突破数据临界点的一个发展方向,用来整合海量的非结构化数据,如果数据存在一个统一的平台上,具备标准的接口,那么未来就可以实现跨平台的应用数据共享。
    分布式对象存储建设需要针对应用和架构的具体情况进行针对性的改造、部署、测试等。

2.2 【Q】对象存储的网络设计要素?

对象存储由于一般是作为海量非结构化数据的存储解决方案,因此要求其有很强的横向扩展能力,以实现容量的无缝和无限扩展能力,所以往往采用分布式的架构,那么无论是开源的ceph还是商业化的产品,如何设计高效,健壮的存储网络?如前端业务网,后端数据网以及带外管理网三网分离

[A] zrosiness 系统架构师 , JSRCB
严格三网分离,通常业务网和数据网采用万兆,端口做聚合,新建存储网络,避免对现有生产网络产生影响。带外管理接入现有网络,统一进行管理

2.3 【Q】对象存储运维复杂度如何? 高可用或者备份如何设计?

[A] zrosiness 系统架构师 , JSRCB
对象存储作为SDS,相比传统存储如NAS提高了功能性和可用性,必然带来运维复杂度的成倍提升。从设计理念上出发,基于对象存储map特性,不需要另做高可用或者备份

[A] wmenghz 系统架构师 , IT
对象存储运维管理相对简单:
 对象存储数据永远在线,可提供极高的可用性,可以在完成任务时继续为存储应用程序提供服务,而在大多数传统存储系统中,则需要计划停机时间。
 对象存储提供便捷的运维管理相关的功能,包括系统在线升级,日志收集,主动系统运行监控,系统操作控制台,密码修改和报表等功能。此外,对象存储的硬件维护、存储容量扩展、硬件刷新以及存储系统的物理重定位,几乎都可在不发生停机的情况下完成。
 IBM COS对象存储每位管理员可以更轻松地管理数十PB的存储容量。
对象存储数据保护设计:
传统集中式存储存放海量非结构化数据,在备份、数据保护方面存在困难,只能使用存储级别复制技术来进行数据保护。对象存储可以提供多副本的方式做高可用设计,然而多副本经济性不高。一些领先的技术方法是采用支持跨站点的、可变纠删码算法。
如IBM COS的数据保护机制不仅提供采用跨站点的纠删码算法,无需副本,无需RAID,不需要做备份,对象存储根据多节点部署,某存储节点发生故障时生产不受影响;还可以提供同步、异步的镜像配置技术;提供多版本的功能,规避逻辑错误,保证非结构化数据被误删除后可进行恢复,数据可靠性得到了很高的提升。

2.4 【Q】对象存储的多站点容灾架构?

在金融行业,对象存储往往会作为影像系统的后台存储,那么作为承载核心业务的对象存储,如何构建数据中心级的容灾方案,比如跨数据中心的纠删码,或者是基于bucket做数据中心间的对象异步复制?不同的方案设计需要考虑的因素有哪些?
[A] zrosiness 系统架构师 , JSRCB
对于任何数据中心来说,容灾都是一项复杂的工程。对象存储的跨数据中心容灾同样如此,首先需要考虑中心之间的关系,是并行还是主备,在此基础上根据站点之间的距离和网络带宽、延迟等。考虑容灾方案。简单说,同步(基于纠删码或副本)方式对网络要求较高,要求延迟不高于某一数值(不同厂商,对网络延迟要求不同)。异步复制,相较来说对网络延迟要求小,硬件投入大。

[A] wmenghz 系统架构师 , IT
构建对象存储多站点容灾有多种方案:

  1. 采用跨站点的纠删码算法,使得对象存储根据多节点部署,某存储节点发生故障时生产不受影响;
  2. 还可以基于Vault(bucket)提供同步、异步的镜像配置技术;
  3. 同时提供多版本的功能,规避逻辑错误,保证非结构化数据被误删除后可进行恢复,数据可靠性得到了很高的提升。
    以IBM COS为例,分析单站点、双站点、多站点不同容灾方案设计考虑的因素。
  4. 单站点部署:单个站点部署IBM COS是最简单的部署选项,可在不需要站点冗余时提供最佳性能,IBM COS采用纠删码的方式,通过信息离散算法(IDA)提供数据保护,允许该站点内多个设备出现故障。且无需复制数据,更加经济。
  5. 双站点Mirror部署:IBM COS采用Vault Mirror镜像配置技术,在两个站点内保持数据副本,两个站点可并行进行读写,即使两者之间出现通信中断也是如此,从而提供站点级别的故障容错功能。复制的方式是同步或者异步。
  6. 三个及以上站点部署:IBM COS采用纠删码的方式,具有天生的地理容灾性,可借助IDA在三个或更多站点部署IBM COS,提供无需复制的站点级别故障容错功能,提升数据可靠性,极大降低存储成本。在7/12的例子中,如果将四个节点分布在不同的三个站点中,在一个站点出现故障的时候,整体系统因为失效四个节点而小于最大五个节点的配置,而不受任何影响,具备了天生的地理容灾性。

2.5 【Q】对象存储在银行的应用系统中,哪些场景比较合适?

1) 对象存在银行的应用系统中,哪些系统的场景适合使用对象存储,改造难度是否比较大?比如:理财录音录像系统、电话银行等系统有大量的非结构化数据的系统。
2) 对象存储是否适合作为备份的介质存储,金融行业是否有成功的案例?

[A] zrosiness 系统架构师 , JSRCB
1)对象存储最适合的场景是影像系统。改造难度不大,重点在对对象权限的管理和容量规划
2)目前主流的备份软件都已经支持对象存储作为备份的介质,支持对象存储作为目标端压缩和重删等功能。我们正在实施使用对象存储作为备份介质

[A] huaweitac 系统架构师 , sandstone
对象存储可以用在银行很多非结构化数据的地方,如ecm.双录,票据等。改造很简单,如果应用支持S3. 那切换可以做到分钟级别,如果不支持。就需要改应用。小时级别。目前对象存储支持多种编程语言的对接。一般就两三个小时改完。但是像信雅达这些都开始支持S3了。
2.对象存储可以拿来做二级存储或者备份。但是需要能异构NAS才行,国内能实现的不多。杉岩数据可以做。建议拿来做主存。因为性能和稳定性方面,对象存储要高于传统存储。

[A] 刘文 系统工程师 , CMBC
准备把原来nas的场景,搬到对象存储上来,这样解决了单点,可扩展等很多问题。这两者的大部分应用场景,应该都是相通的。

[A] wmenghz 系统架构师 , IT
主要针对银行业的非结构化数据,适合对象存储的场景:
• 备份。可以和备份软件IBM SpectrumProtect、NBU、Commvault、Oracle RMAN、Dell/EMC Data Domain等集成,存储备份或快照数据,支持从多个站点在线读取,数据在线缩短检索时间。
• 归档。归档视频、图片、录音、物联网数据、邮件附件,将不常用数据转移到对象存储更经济耐用的存储,归档数据始终处于在线状态。
• 内容管理。内容管理录像视频、录音音频和图像、大数据分析数据、物联网数据,可建设单副本更经济,可以集成内容管理工具IBM FileNet、Spark Analytics等,对象存储可实现从任何地方访问数据,锁定并满足合规要求。
• 企业协作:文件服务、文件同步和共享。集成联想网盘、坚果云盘、连用LFS、数普网盘等。
• 云存储服务。
目前银行业使用非结构化数据的主要系统包括内容管理平台、后督影像系统、身份验证、柜员办业务扫描件等需要用到影像图片,以及呼叫中心系统、电话客服的录音文件,需要长期保存并保存高效。对象存储可以有效应对海量文件的挑战,解决容量和性能问题。对象在银行适合的场景:

  • 双录(录音录像)
  • 虚拟桌面VDI
  • 文件(邮件、OA、网盘)
  • 日志、交易信息归档
  • 电商、社交类应用(e生活,小微贷)
  • 影像平台

对象存储适合作为备份的介质存储。对象存储相比磁带库、虚拟带库、传统NAS等其他传统的介质的优势分析如下:
在大多数企业中,存储容量需求和数据保护成本在稳步上升,压缩了本已紧张的IT预算。为了解决这些挑战,对象存储的数据保护解决方案提供了一个久经测试和验证的解决方案,可以集成备份软件,无缝地部署在备份环境。
对象存储作为备份的介质存储,该数据保护解决方案可以帮助现有的使用备份软件的客户:
• 减少数据保护方面的资本和运营支出,同时提供更具弹性、更易管理的存储解决方案。
• 在业界领先的私有云、公共云或混合云对象存储部署中,从磁带或虚拟带库过渡到降低成本的磁盘。
• 在多站点、地理位置分散的配置中,具有高可用性,无缝地、灵活扩展。与大多数基于磁盘的备份解决方案不同,不需要创建多个副本的数据来提供容灾恢复。
• 基于X86构建的企业级私有对象存储池通过整合传统近线数据和离线数据,替代传统NAS和磁带,使数据永远在线,可随时访问。比磁带存储解决方案更快地访问保存的数据,帮助满足监管、法律或业务需求。
• 通过将数据分散到多个集群来提供冗余,实现跨站点复制备份和归档数据。云对象存储允许磁盘甚至整个站点的数据丢失,同时仍具有高可用性和检索数据的能力。
• 支持在私有云、公共云或混合云环境中部署。
• 当您考虑备份软件的选择时,可选择IBM Spectrum Protect备份软件, Spectrum Protect中优化软件定义的在线重复数据删除,而不是使用成本更高的重复数据删除设备(如虚拟带库)。
对象存储和备份软件集成是业界领先的技术、非常成熟的解决方案,金融行业的成功案例很多。

2.6 【Q】分布式存储的计量计费是否有成熟的工具?还是必须依托云管平台的相关服务来做?

[A] wmenghz 系统架构师 , IT
不同的对象存储产品的计量计费模式不同,没有一个统一的计费工具。计费的类别可包括请求计费、存储费用、流量费用、接口调用计费等。可以依托云管理平台相关服务来做,也可以有针对性的做二次开发。
一些对象存储产品销售自带计量计费工具,如阿里云对象存储OSS多媒体成本计算工具。IBM COS提供计量计费的服务器节点和独立的界面。

[A] zrosiness 系统架构师 , JSRCB
分布式存储的计量计费基于需要定制开发,或者集成到去管平台,目前还没有一个成熟的工具专有用来计量计费。

2.7 【Q】对象存储扩展性如何?是否可以外接其他存储?数据压缩率高不高?

[A] zrosiness 系统架构师 , JSRCB
对象存储具有非常好的扩展性,部分厂商可以外接管理其它对象存储。对象存储有数据压缩功能,实际使用过程中,没有使用过该功能,良好的扩展性,保障了足够的数据空间。

[A] wmenghz 系统架构师 , IT
对象存储的显著特点就是无限扩展,系统从小容量百TB起步,轻松发展到PB甚至EB级别。
可以外接其他块、文件存储,同时还可以集成块存储、文件存储、对象存储为企业设计分层存储架构。
数据压缩率和文件格式相关,一般来说图片、影像文件压缩必要性不大。

[A] 刘文 系统工程师 , CMBC
对象存储一般是分布式架构,理论上支持节点无限扩张。
目前的几款主流分布式存储产品都支持对象存储,同时也自带数据压缩功能。

[A] huaweitac 系统架构师 , sandstone
1.对象存储一般是才用分布式存储架构,扩展性是非常不错的,这也是源于分布式架构。2.能否外接其他存储这个要看了,有些厂家可以,如杉岩。有些厂家还不行。一般都是外接nas.3.压缩这块去做的厂家不多,因为分布式存储的扩展性很好,压缩必要性不大

3 对象存储管理

3.1 【Q】分布式存储如何有效防止逻辑操作错误?防错恢复的颗粒度?可以批量处理?各站点遍历更新是否可控?

[A] wmenghz 系统架构师 , IT
传统集中式存储存放海量非结构化数据,在备份、数据保护方面存在困难,只能使用存储级别复制技术来进行数据保护。
IBM对象存储COS 的数据保护机制不仅提供采用跨站点的纠删码算法,使得对象存储根据多节点部署,某存储节点发生故障时生产不受影响;还可以提供同步、异步的镜像配置技术;提供多版本的功能,规避逻辑错误,保证非结构化数据被误删除后可进行恢复,数据可靠性得到了很高的提升。

3.2 【Q】对象存储对海量小文件存放采用什么结构,如何提升海量小文件读写与检索速度?

[A] wmenghz 系统架构师 , IT
对于小文件实际上不是对象存储的特长,通常的做法是根据批次压缩打包后存储打包文件,从而构建索引库

3.3 【Q】对象存储跨区域的多个站点之间如何进行数据同步?

[A] zrosiness 系统架构师 , JSRCB
通过bucket多版本的方式异步进行

[A] wmenghz 系统架构师 , IT
对象存储跨多个站点的数据保护机制:1. 采用副本的方式多份数据拷贝。 2. 利用跨节点的纠删码技术,保障多个节点故障,通过合理的可变纠删码规划,实现站点级别故障,业务不中断。 3. 站点之间Vault 镜像,复制关系有同步或者异步两种模式。

3.4 【Q】对象存储如何和现有备份系统对接,保证数据的安全性?

[A] zrosiness 系统架构师 , JSRCB
现有不管是国产还是传统的TSM,NBU和commvault等都已经支持使用对象存储作为存储池。对象存储从架构上来说,采用的是多副本或纠删码机制,保证了数据的安全性和长期储存。另外,在对接过程中,需要考虑存储桶的权限和key安全性

[A] wmenghz 系统架构师 , IT
一些企业级的备份软件支持和对象存储无缝集成,支持可以简单、安全、经济高效地备份到云中。对象存储和备份软件集成,为数据备份和长期保留提供数据永远在线的磁盘目标,提高备份和归档数据的可用性,同时降低数据保护和运维成本。这种强大的组合允许您根据未来需求的变化,扩展您的数据保护解决方案。备份软件容器存储池无需额外硬件或网关,通过TCP/IP访问,即可在IBM SoftLayer、IBM Cloud Object Storage、Amazon S3及现在的Microsoft Azure Blob 存储等热门云环境中实现外部云和对象存储。
数据的安全性从两个角度说明:
1)备份软件本身的安全性。支持备份信息可以在组织内部或云中托管的备份服务器之间进行复制。备份软件支持多站点和基于策略的数据复制,主站点和容灾站点之间快速、弹性的数据恢复。支持以增量的方式将备份数据从一台备份服务器复制到另一台服务器。此外,还可对重复删除的数据执行复制,从而改善网络效率。还可安排在相对空闲的时段,以帮助降低对生产应用程序的影响。在复制的环境中,远程备份服务器可以用作热备份。或者,两个活动的备份服务器可以在彼此间复制。单个复制目标可用于整合来自多个活动。
2)对象存储本身的安全性。对象存储提供丰富的功能,帮助您满足安全需求。从内置的静态和动态数据加密到一系列验证与访问控制选项,即便涉及到多个驱动器、服务器、容器或位置,也能始终确保数据机密性。

3.5 【Q】对于金融行业影像数据(非结构化),如何使用对象存储提升存储空间使用效率和检索效率?

[A] wmenghz 系统架构师 , IT
如何使用对象存储提升存储空间?
对象存储如IBM COS和传统方案相比,最突出的体现在于两点完全颠覆传统的方式,无需副本,无需RAID。这就意味着存储空间使用效率可以大大提升。无需成本高昂的存储多个副本,在PB 甚至更高级别显著降低存储系统的总拥有成本。对象存储可采用可变纠删码技术,根据客户的具体要求配置可靠性和可用性特征,即便出现多次硬盘或服务器故障,甚至是站点中断,数据仍继续可用,同时仅需存储一份数据即可。以IBM COS为例,可用容量的利用率可高达99%,且不会出现显著的性能下降,而在大多数传统的存储系统中,随着利用率的提高,性能通常会有所下降。
如何提升检索效率?
对象存储本身的机制决定的,对于对象构建索引实际上是在数据库中构建关键字索引,从而找到对应对象ID,从而高效查询访问。

3.6 【Q】在对象存储系统中如何实现数据的分层管理?

对于传统集中式san存储,我们有数据的冷热属性之分,热数据放在快速盘上,冷数据放慢速盘上,有了数据的分层管理机制。同时也会结合业务的数据保留策略定义在线,近线和离线数据生命周期管理。那么到了对象存储,由于其解决的往往是海量非结构化数据的在线存储问题,那么是否有必要做冷热数据的分层和数据生命周期管理?如果做,技术上如何实现?比如利用对象元数据做生命周期管理等

[A] zrosiness 系统架构师 , JSRCB
对象存储架构有别于传统存储,对数据采用扁平化管理,对象由文件和元数据共同组成,文件存储在磁盘中,元数据存放在元数据服务器。当client对数据进行读写时,先访问元数据,根据元数据反馈的数据存储位置直接到对应的数据服务器上读取数据,由于数据是分布式存在,当存储服务器越多,读写速度提升越大,通过这种方式,实现读写快的目的。现在大部分厂商的产品也有冷热数据分层的方式和数据生命周期管理,生命周期管理分为两种,一是对象的生命周期,二是对象在缓冲池中的生命周期。对象存储使用特定算法将访问次数比较频繁的热数据缓存在前端调整缓冲池,而访问量比较低的数据存储在后端低速存储池。对于对象在存储中的生命周期,可通过应用程序设置。

[A] wmenghz 系统架构师 , IT
数据生命周期管理的角度来看到数据,对象存储系统数据分层管理提供的方案是结合NAS/并行文件系统、块文件存储,将对象存储作为其中温冷数据的一个资源池,从而做到数据分层,优化存储成本。
银行业传统的方式全部数据使用集中高端存储,没有实现优化的分层存储架构,带来的问题是非结构化数据影像整体存储性能,并且这些数据长期存放与高端存储对存储的高IOPS也是一种浪费。
对象存储有利于银行业优化分层存储架构,存储体系提供分层(热、温、冷)服务,用于不同的应用服务等级,同时存储对应用完全透明。
对象存储提供全新的优化分层存储架构,根据业务系统的相关重要性进行分层,例如影像平台进行调度管理的数据库使用传统集中式的高端存储,保证数据库的高响应,非结构化的数据使用对象存储进行存储。根据对象存储的扩容特点,将对象存储制作成二级存储资源池,所有非结构化数据存放于“池”中。性能线性增长,支持灵活扩展,且在超大规模环境100PB以上经久验证。
考虑非结构化数据的性能和兼容性,将对象存储作为二级存储池的设计根据用户的具体应用场景进行分析,譬如用户是做备份、归档、还是代替现有文件系统存储海量数据等。比如,对于影像系统来说,如果用户使用分布式并行文件系统,可在后端加入对象存储作为一个分层的存储解决方案,分布式并行文件系统负责性能,而对象存储负责容量的无限制扩展。
综上,纵观整个存储的发展,块存储、文件存储、对象存储,直到现在三块主要的存储技术分而治之,共同构筑起存储分层的概念,这也是数据生命周期管理最重要的实现。存储分层架构有明显的好处:

  1. 从数据使用热度上区分其数据的使用价值,让IT设施的性能为价值数据服务。
  2. 优化整体存储方案的成本结构,保护既有存储资产的前提下能够突破海量数据的存储的限制。
  3. 从存储本身考虑,在扩展性、性价比、可用可靠性上,由于对象存储技术的出现找到新的平衡点。

3.7 【Q】相对于传统存储,对象存储内的海量非结构化数据检索效率如何提升?

[A] wmenghz 系统架构师 , IT
相对于传统存储,对象存储的海量非结构化数据的读取(索引)效率更高。
对象存储的读取方式,首先每个对象在完全平展的一个平面上,不存在文件级、目录树的概念,所有多项都在一个层级,其次对象存储的访问是通过唯一的Object ID来完成访问的,而这个ID是一个由系统定义,可设置位数的,字母大小写加上数字的字符串。一个16位的字符串即为(26+26+10)的16次方,已经足够涵盖所有的数据了。由于对象存储是采用RESTful API的方式访问,即HTTP的通信协议,因此需要访问一个对象的时候只需要主机IP+域名+对象ID即可,如https://hostIP/namespace/AABBCCDD
传统存储是块/文件的读取方式,是通过目录树的方式,每一个文件需要有元数据去存储一个很长的字符串作为这个文件访问的路径,在文件系统访问方式下,首先,这样的路径长度是有限制的,这是由CIFS或NFS的文件系统所限制的;其次,如果要构建索引的话,需要深入到每一个细小的文件数末梢,当文件数量巨量时,实际上这种索引是无法构建的。

[A] 刘文 系统工程师 , CMBC
我理解,针对非结构化数据,对象存储应该天生有相较于传统存储更好的数据检索架构,在分布式的架构里,元数据的检查和90%以上的管理工作是分配到智能管理终端的,本质上应该会更快,也非常适合存储非结构化数据。检查,检索效率的提升可以通过优化每个智能管理终端的参数,管理的数据量来改善。

3.8 【Q】对象存储在实时生产业务中的性能表现?

实时生产业务中,由于对象存储单次上传下载性能一般,往往不能满足实时业务需求。这种情况下,如何应对热点数据问题?可以想到的是整合应用缓存或CDN,是否有好的案例推荐整个架构

[A] zrosiness 系统架构师 , JSRCB
目前我们在生产环境中使用的对象存储还没有碰到瓶颈。对于大量小文件,部分厂商的产品有归并小文件和冷热数据池的功能。

[A] wmenghz 系统架构师 , IT
性能方面,对象存储是定位为tier2的存储,访问效率方面可以做到请求在毫秒级的延时,用于对IO响应时间要求不高,或者访问度不高的数据,比如用于云存储,数据备份或活动归档等。
考虑业务实际需求,用户可以集成对象存储设计优化分层存储架构,根据业务系统的相关重要性进行分层,例如影像平台进行调度管理的数据库使用传统集中式的高端存储,保证数据库的高响应,非结构化的数据使用对象存储进行存储。根据对象存储的扩容特点,将对象存储制作成二级存储资源池,所有非结构化数据存放于“池”中。性能线性增长,支持灵活扩展,且在超大规模环境100PB以上经久验证。

3.9 【Q】对象存储的容量,性能监控目前主流手段有哪些?

[A] zrosiness 系统架构师 , JSRCB
对于对象存储的容量,不同的厂商产品有不同的监控手段和方法。也可以通过开源监控工具如zabbix,自定义脚本的方式对容量进行监控

[A] wmenghz 系统架构师 , IT
对象存储的容量和性能监控是最基本的运维管理要素。

  1. 一般的,可以利用对象存储产品内置的管理工具,借助可视化监控视图,登录管理界面。可视化监控视图包括存储池级、服务器级、设备级(网卡、磁盘等);监控对象存储的整体状态以及事件、性能相关的监控信息。
  2. 也可以集成第三方通用接口的专用监控软件

[A] jiaxu2000 系统工程师 , 沈阳医学院附属中心医院
IBM Spectrum Control 可以监控IBM Cleversafe

[A] wuwenpin 软件开发工程师 , 南京
不同的存储设备都有自己的分析软件。

4 传统存储向对象存储迁移

4.1 【Q】对于目前非结构化数据都存储在其他存储上,如何进行整理备份和迁移到此存储上?

[A] zrosiness 系统架构师 , JSRCB
对于iscsi方式挂载的存储,可以通过程序调用S3接口,或使用开源工具进行迁移

[A] wmenghz 系统架构师 , IT
解答非结构化数据备份到对象存储的问题
一些企业级的备份软件IBM Spectrum Protect、NBU、Commvault、Oracle RMAN、Dell/EMC Data Domain等支持和对象存储无缝集成,支持可以简单、安全、经济高效地备份到云中。将对象存储作为备份存储介质,存储备份或快照数据,支持从多个站点在线读取,数据在线缩短检索时间。对象存储和备份软件集成,为数据备份和长期保留提供数据永远在线的磁盘目标,提高备份和归档数据的可用性,同时降低数据保护和运维成本。这种强大的组合允许您根据未来需求的变化,扩展您的数据保护解决方案。备份软件容器存储池无需额外硬件或网关,通过TCP/IP访问,即可在IBM SoftLayer、IBM Cloud Object Storage、Amazon S3及现在的Microsoft Azure Blob 存储等热门云环境中实现外部云和对象存储。
解答非结构化数据迁移到对象存储的问题 一些NAS设备本身具有向对象存储迁移的功能,或者使用数据无缝迁移、协议转换引擎等工具,能够帮助用户实现原有业务系统已有数据到对象存储的无缝迁移。
一般来说,通用的迁移至对象存储的做法如下:
用户访问数据时,若对象存储无该部分数据,则会回源到用户源站去读取数据,并写入到对象存储,将数据传递给用户。利用迁移工具将用户源站的已有数据迁移到对象存储。若用户源站所有数据都被访问过,则源站所有数据都会被同步对象存储,无需再使用迁移工具迁移数据。
结合用户的迁移场景,综合考虑用户的业务需求、迁移的时间成本、数据迁移量、网络速度等因素(1MB 以下的小文件数量较多、磁盘 IO 性能不足等等也会影响到数据的迁移进度),可以选择离线迁移或者在线迁移两种方式。

  1. 离线迁移:如果用户的存储容量很大(TB~PB 级别),或者带宽有限,在线迁移时间成本较高,业务场景允许停服,则可以考虑离线的迁移方式。离线迁移可解决本地数据中心通过网络传输迁移云端时间长、成本高、安全性低的问题。
  2. 在线迁移:如果用户的存储容量不是很大,而且业务场景不太允许停服,可以考虑在线的迁移方式。
    典型的NAS设备在线迁移至对象存储说明如下图所示:

DB:修改访问地址,文件系统地址转到对象存储服务的url。
File Gate Way说明:
 指定源和目标:
 源端:NAS设备,采用NFS/CIFS协议,由文件系统组成,目录结构Folder/Directory/File
 目标:COS设备,采用Swift/S3协议,Buckets组成,存放Object ID,http://hostIP/namespace/AABB
 程序判断:
 已经迁移完成的文件直接提供对象存储访问
 未迁移过来的文件通过回源的方式提供访问
 完整性校验,完成迁移
迁移至对象存储的设计,移除迁移链路的不稳定性和风险,因此COS迁移机制支持多种功能,保障用户成功完成数据的在线迁移。
 查看数据迁移进度
 文件一致性校验
 失败重传
 断点续传
 启动HTTPs安全传输等功能
为了提升迁移效率机制,分布式并行传输有利于加快迁移速度,迁移至对象存储支持:
 可迁移全量或增量数据
 根据网络环境自定义调整大小文件的阈值
 针对大文件小文件分别定义并发度
 实现大文件分块、小文件并发传输
 自定义迁移执行时间和带宽限制
 监控生产数据压力,保证自身业务运行不受迁移数据带宽占用影响等最佳迁移方式
综上,当您选择IBM对象存储IBM COS,IBM提供为应用提供完整的NAS和对象存储的切换方案,规避新技术引入的风险,保障业务连续性。IBM会帮助用户更好的针对应用和架构的具体情况进行针对性的改造、部署、测试等

4.2 【Q】数据迁移是如何做的?比如从华为存储的非结构化数据迁移至对象存储,有接口还是通过其他方式?

[A] zrosiness 系统架构师 , JSRCB
编写程序调用接口,或者使用工具都可以实现迁移

[A] wmenghz 系统架构师 , IT
一些NAS设备本身具有向对象存储迁移的功能,或者使用数据无缝迁移、协议转换引擎等工具,能够帮助用户实现原有业务系统已有数据到对象存储的无缝迁移。
您提到的华为存储,你需要关注一下该存储是否提供向对象存储无缝迁移的工具或者接口。
一般来说,通用的迁移至对象存储的做法如下:
用户访问数据时,若对象存储无该部分数据,则会回源到用户源站去读取数据,并写入到对象存储,将数据传递给用户。利用迁移工具将用户源站的已有数据迁移到对象存储。若用户源站所有数据都被访问过,则源站所有数据都会被同步对象存储,无需再使用迁移工具迁移数据。
结合用户的迁移场景,综合考虑用户的业务需求、迁移的时间成本、数据迁移量、网络速度等因素(1MB 以下的小文件数量较多、磁盘 IO 性能不足等等也会影响到数据的迁移进度),可以选择离线迁移或者在线迁移两种方式。

  1. 离线迁移:如果用户的存储容量很大(TB~PB 级别),或者带宽有限,在线迁移时间成本较高,业务场景允许停服,则可以考虑离线的迁移方式。离线迁移可解决本地数据中心通过网络传输迁移云端时间长、成本高、安全性低的问题。
  2. 在线迁移:如果用户的存储容量不是很大,而且业务场景不太允许停服,可以考虑在线的迁移方式。
    典型的NAS设备在线迁移至对象存储说明如下图所示:

DB:修改访问地址,文件系统地址转到对象存储服务的url。
File Gate Way说明:
 指定源和目标:
 源端:NAS设备,采用NFS/CIFS协议,由文件系统组成,目录结构Folder/Directory/File
 目标:COS设备,采用Swift/S3协议,Buckets组成,存放Object ID,http://hostIP/namespace/AABB
 程序判断:
 已经迁移完成的文件直接提供对象存储访问
 未迁移过来的文件通过回源的方式提供访问
 完整性校验,完成迁移
迁移至对象存储的设计,移除迁移链路的不稳定性和风险,因此COS迁移机制支持多种功能,保障用户成功完成数据的在线迁移。
 查看数据迁移进度
 文件一致性校验
 失败重传
 断点续传
 启动HTTPs安全传输等功能
为了提升迁移效率机制,分布式并行传输有利于加快迁移速度,迁移至对象存储支持:
 可迁移全量或增量数据
 根据网络环境自定义调整大小文件的阈值
 针对大文件小文件分别定义并发度
 实现大文件分块、小文件并发传输
 自定义迁移执行时间和带宽限制
 监控生产数据压力,保证自身业务运行不受迁移数据带宽占用影响等最佳迁移方式
综上,当您选择IBM对象存储IBM COS,IBM提供为应用提供完整的NAS和对象存储的切换方案,规避新技术引入的风险,保障业务连续性。IBM会帮助用户更好的针对应用和架构的具体情况进行针对性的改造、部署、测试等。

[A] chengzuqiao 系统架构师 , 江西省农村信用社
有什么工具可参靠呢? 如果是编写程序接口,是不太现实的,工作量也大,你们是如何从把nas数据迁移到对象存储中呢?

4.3 【Q】对象存储如何和现有业务系统对接?原有nas数据如何平滑迁移?

城商行,大部分业务系统都是向第三方公司采购。对象存储的使用,会有应用接口改造,历史数据迁移问题。具体该如何实施,对生产影响最小

[A] zrosiness 系统架构师 , JSRCB
建议老业务系统老办法,新业务系统新办法。改造原有业务系统,需要单位投入大量的人力和财力,况且第三方公司也未必非常熟悉对象存储的使用,全部改造存在一定风险。建议对新业务系统,在UAT环境充分验证后,再使用对象存储

[A] 匿名用户
既然涉及到要改接口。那么对象存储能异构NAS这个功能就很有必要性。这样可以保证你最高的业务连续性。还能不影响现有阶段的业务

[A] 匿名用户
应用改造增加gateway可以NAS和对象存储双写,先试运行进行观察

[A] wmenghz 系统架构师 , IT
对象存储如何和现有业务系统对接?
1.如果用户的应用支持标准的对象存储接口,则不需要更改应用,对象存储直接使用和访问;
2.如果用户具备对象存储的合作伙伴支持的应用,比如备份、归档类的应用作为gateway;
3.如果用户要求不更改应用,兼顾老系统应用访问接口,且需求受益于对象存储,可选择IBM GPFS、第三方NAS网关无缝集成COS,将对象存储作为二级存储池。比如,对于影像系统来说,用户使用GPFS做并行分布式文件系统,可在后端加入COS作为一个分层的存储解决方案。GPFS负责性能和NFS等文件协议,而COS负责无限制扩展对象存储池。GPFS TCT功能通过策略自动实现GPFS和COS的迁移和回迁,全过程对应用是透明的。GPFS+TCT+COS整体解决方案兼顾应用访问兼容性和性能,保持现有应用的访问模式不变,应用开发无需适配对象存储。
4.对多数用户来说,需要对应用的接口进行更改,改为标准的S3等COS支持的标准接口。但是从长远角度来说,对象存储是未来突破数据临界点的一个发展方向,用来整合海量的非结构化数据,如果数据存在一个统一的平台上,具备标准的接口,那么未来就可以实现跨平台的应用数据共享。此时应用改造的解决方式是,对于新上线的系统对非结构化数据的访问采用对象存储,对于存量的系统,逐步推进变更的方式。
此外,如果是替换原有的文件系统等,对于现有的如内容管理平台等影像平台,目前的数据量庞大,迁移过程是个严峻的挑战,迁移至对象存储需要进行详细的方案设计,保证对系统的影响最小,提供系统的业务连续性。
原有nas数据如何平滑迁移?
一般来说,新的NAS设备本身具有向对象存储迁移的功能。或者使用数据无缝迁移、协议转换引擎等工具,能够帮助用户实现原有业务系统已有数据到对象存储的无缝迁移。
用户访问数据时,若对象存储无该部分数据,则会回源到用户源站去读取数据,并写入到对象存储,将数据传递给用户。利用迁移工具将用户源站的已有数据迁移到对象存储。若用户源站所有数据都被访问过,则源站所有数据都会被同步对象存储,无需再使用迁移工具迁移数据。
结合用户的迁移场景,综合考虑用户的业务需求、迁移的时间成本、数据迁移量、网络速度等因素(1MB 以下的小文件数量较多、磁盘 IO 性能不足等等也会影响到数据的迁移进度),可以选择离线迁移或者在线迁移两种方式。

  1. 离线迁移:如果用户的存储容量很大(TB~PB 级别),或者带宽有限,在线迁移时间成本较高,业务场景允许停服,则可以考虑离线的迁移方式。离线迁移可解决本地数据中心通过网络传输迁移云端时间长、成本高、安全性低的问题。
  2. 在线迁移:如果用户的存储容量不是很大,而且业务场景不太允许停服,可以考虑在线的迁移方式。
    典型的NAS设备在线迁移至对象存储说明如下图所示:

DB:修改访问地址,文件系统地址转到对象存储服务的url。
File Gate Way说明:
 指定源和目标:
 源端:NAS设备,采用NFS/CIFS协议,由文件系统组成,目录结构Folder/Directory/File
 目标:COS设备,采用Swift/S3协议,Buckets组成,存放Object ID,http://hostIP/namespace/AABB
 程序判断:
 已经迁移完成的文件直接提供对象存储访问
 未迁移过来的文件通过回源的方式提供访问
 完整性校验,完成迁移
迁移至对象存储的设计,移除迁移链路的不稳定性和风险,因此COS迁移机制支持多种功能,保障用户成功完成数据的在线迁移。
 查看数据迁移进度
 文件一致性校验
 失败重传
 断点续传
 启动HTTPs安全传输等功能
为了提升迁移效率机制,分布式并行传输有利于加快迁移速度,迁移至对象存储支持:
 可迁移全量或增量数据
 根据网络环境自定义调整大小文件的阈值
 针对大文件小文件分别定义并发度
 实现大文件分块、小文件并发传输
 自定义迁移执行时间和带宽限制
 监控生产数据压力,保证自身业务运行不受迁移数据带宽占用影响等最佳迁移方式

4.4 【Q】NAS存储切换对象存储?

1、存量应用系统接口怎么改造
2、nas存储里面的存量文件如何同步到对象存储
3、对象存储如何实现备份和双活

[A] zrosiness 系统架构师 , JSRCB
1)存量应用系统,不建议做接口改造。涉及到单位开发人员,应用厂商等技能和掌握程度。工作量大,存在不确定性
2)nas存量文件可通过编写简单程序调用S3接口,上传至对象存储。也可使用一些开源工具同步
3)对象存储本身就是分布式,多副本,通常不需要做额外备份。不同的厂商有不同的要求和实现手段,涉及到距离和带宽等因素,大体上有两种方式:一,可将副本放在异地机房;二,可新建一套对象存储实现

[A] wmenghz 系统架构师 , IT
存量应用系统接口改造:
对企业现有系统主要的改变和影响体现在应用改造方面,需要根据用户的具体应用场景进行分析,譬如用户是做备份、归档、还是代替现有文件系统存储海量数据等。
1.如果用户的应用支持标准的对象存储接口,则不需要更改应用,将COS直接使用和访问;
2.如果用户具备COS的合作伙伴支持的应用,比如备份、归档类的应用作为gateway;
3.如果用户要求不更改应用,兼顾老系统应用访问接口,且需求受益于对象存储,可选择IBM GPFS、第三方NAS网关无缝集成COS,将对象存储作为二级存储池。比如,对于影像系统来说,用户使用GPFS做并行分布式文件系统,可在后端加入COS作为一个分层的存储解决方案。GPFS负责性能和NFS等文件协议,而COS负责无限制扩展对象存储池。GPFS TCT功能通过策略自动实现GPFS和COS的迁移和回迁,全过程对应用是透明的。GPFS+TCT+COS整体解决方案兼顾应用访问兼容性和性能,保持现有应用的访问模式不变,应用开发无需适配对象存储。
4.对多数用户来说,需要对应用的接口进行更改,改为标准的S3等COS支持的标准接口。但是从长远角度来说,对象存储是未来突破数据临界点的一个发展方向,用来整合海量的非结构化数据,如果数据存在一个统一的平台上,具备标准的接口,那么未来就可以实现跨平台的应用数据共享。此时应用改造的解决方式是,对于新上线的系统对非结构化数据的访问采用对象存储,对于存量的系统,逐步推进变更的方式。
nas存储里面的存量文件如何同步到对象存储?
典型的NAS设备在线迁移至对象存储说明如下图所示:

DB:修改访问地址,文件系统地址转到对象存储服务的url。
File Gate Way说明:
 指定源和目标:
 源端:NAS设备,采用NFS/CIFS协议,由文件系统组成,目录结构Folder/Directory/File
 目标:COS设备,采用Swift/S3协议,Buckets组成,存放Object ID,http://hostIP/namespace/AABB
 程序判断:
 已经迁移完成的文件直接提供对象存储访问
 未迁移过来的文件通过回源的方式提供访问
 完整性校验,完成迁移
迁移至对象存储的设计,移除迁移链路的不稳定性和风险,因此COS迁移机制支持多种功能,保障用户成功完成数据的在线迁移。
 查看数据迁移进度
 文件一致性校验
 失败重传
 断点续传
 启动HTTPs安全传输等功能
为了提升迁移效率机制,分布式并行传输有利于加快迁移速度,迁移至对象存储支持:
 可迁移全量或增量数据
 根据网络环境自定义调整大小文件的阈值
 针对大文件小文件分别定义并发度
 实现大文件分块、小文件并发传输
 自定义迁移执行时间和带宽限制
 监控生产数据压力,保证自身业务运行不受迁移数据带宽占用影响等最佳迁移方式
IBM COS为应用提供完整的NAS和对象存储的切换方案,规避新技术引入的风险,保障业务连续性。IBM会帮助用户更好的针对应用和架构的具体情况进行针对性的改造、部署、测试等。
对象存储如何实现备份和双活?
IBM COS对象存储的数据保护机制不仅提供采用跨站点的纠删码算法,使得对象存储根据多节点部署,某存储节点发生故障时生产不受影响;还可以提供同步、异步的镜像配置技术;提供多版本的功能,规避逻辑错误,保证非结构化数据被误删除后可进行恢复,数据可靠性得到了很高的提升

4.5 【Q】传统NAS存储数据迁移到对象存储有哪些方案,有什么风险,如何规避风险?

[A] zrosiness 系统架构师 , JSRCB
有多种方法迁移。可以通过简单的代码,将NAS数据看作对象,直接调用S3接口,将数据迁移至对象存储,也可以利用开源工具,甚至curl。迁移完毕再将应用切换至对象存储,注意避免迁移过程中误覆盖增量数据

[A] wmenghz 系统架构师 , IT
1)传统NAS数据到对象存储的无缝数据迁移的方案:
一般来说,新的NAS设备本身具有向对象存储迁移的功能。或者使用数据无缝迁移、协议转换引擎等工具。
用户访问数据时,若对象存储无该部分数据,则会回源到用户源站去读取数据,并写入到对象存储,将数据传递给用户。利用迁移工具将用户源站的已有数据迁移到对象存储。若用户源站所有数据都被访问过,则源站所有数据都会被同步对象存储,无需再使用迁移工具迁移数据。
结合用户的迁移场景,综合考虑用户的业务需求、迁移的时间成本、数据迁移量、网络速度等因素(1MB 以下的小文件数量较多、磁盘 IO 性能不足等等也会影响到数据的迁移进度),可以选择离线迁移或者在线迁移两种方式。
第一种方式离线迁移:如果用户的存储容量很大(TB~PB 级别),或者带宽有限,在线迁移时间成本较高,业务场景允许停服,则可以考虑离线的迁移方式。离线迁移可解决本地数据中心通过网络传输迁移云端时间长、成本高、安全性低的问题。
第二种方式在线迁移:如果用户的存储容量不是很大,而且业务场景不太允许停服,可以考虑在线的迁移方式。
2)数据迁移风险主要体现在迁移链路是否稳定,数据是否一致性,迁移机制是否智能。
3) 迁移至对象存储的设计如何规避迁移链路的不稳定性和风险?对象存储迁移机制支持多种功能,保障用户成功完成数据的在线迁移。
 查看数据迁移进度
 文件一致性校验
 失败重传
 断点续传
 启动HTTPs安全传输等功能
为了提升迁移效率机制,分布式并行传输有利于加快迁移速度,迁移至对象存储支持:
 可迁移全量或增量数据
 根据网络环境自定义调整大小文件的阈值
 针对大文件小文件分别定义并发度
 实现大文件分块、小文件并发传输
 自定义迁移执行时间和带宽限制
 监控生产数据压力,保证自身业务运行不受迁移数据带宽占用影响等最佳迁移方式
当用户选择IBM 的对象存储COS产品,IBM COS会为应用提供完整的NAS和对象存储的切换方案,规避新技术引入的风险,保障业务连续性。IBM会帮助用户更好的针对应用和架构的具体情况进行针对性的改造、部署、测试等

[A] 匿名用户
最优做法是这个对象存储能异构NAS.这样如果应用支持S3 的话,那切换时间会很短以及业务连续性很高

5 产品对比介绍

5.1 【Q】关于对象存储,专业厂家的产品方案与开源产品相比,主要的优势在哪些方面?

[A] EndlessRain 其它 , 网吧经验丰富的网管
1)售后服务。
2)即时更新

[A] zrosiness 系统架构师 , JSRCB
专业厂家对产品做了不同程度的优化和定制开发,使其更加易于维护,贴合实际生产环境。纯开源产品无法保障不踩坑

[A] wmenghz 系统架构师 , IT
第一是软件版本的生命周期管理
第二是服务支持
第三是本身在技术上的聚焦。
而且开源最大的问题在于纠删码的技术他们并没有深刻的研究,并没有从客户的角度去进一步做优化,都需要客户自己来做开发和优化

5.2 【Q】主要对象存储产品对比情况?

[A] wmenghz 系统架构师 , IT
在竞争力上,Gartner和IDC的报告能说明业界存储厂商的对象存储产品Leadership。IBM COS 对象存储在Gartner和IDC双料第一。IBM COS 对象存储多年来在#1 Analytics,#1 Archiving,#1 Backup,#1 Content Distribution,#1 Cloud Storage五个场景全部排名第一。
对象存储的市场,其实现在参与者非常多,不下20家。每家基本采用纠删码作为一个技术噱头,但是只有IBM云对象存储将纠删码技术和信息离散算法完美深度结合,保障了切分的可配置和切片跨地理的分发。
下图是2018 Gartner: Critical Capabilities for Object Storage, January 2018 。

参考以下链接,2018年份发布的最新的业界著名对象存储厂商关键能力对比:
Critical Capabilities for Object Storage https://www.gartner.com/doc/reprints?id=1-4PTQGGY&;ct=180129&st=sb

5.3 【Q】对比下对象存储各个厂家当前产品技术优劣,哪个厂家产品最值得推荐为什么?

[A] wmenghz 系统架构师 , IT
推荐IBM COS 对象存储,多年来在#1 Analytics,#1 Archiving,#1 Backup,#1 Content Distribution,#1 Cloud Storage五个场景全部排名第一。下图是2018 Gartner: Critical Capabilities for Object Storage, January 2018 。

对比各个厂商,IBM COS对象存储为客户带来的优势如下:

  1. 可扩展性:系统从小容量72TB起步,轻松发展到PB甚至EB级别。存储系统应该能够处理所有当前的存储要求并具备扩展能力,以便在单个存储系统和单个命名空间内满足未来5-10 年的预期需求,而不是通过不断增加容量有限的存储筒仓来满足这些需求。IBM COS软件经过测试和考验,多个客户的生产部署容量超过100PB,不仅如此,还能扩展到EB 级别,在保证可靠性、可用性、易管理性的同时还能更加经济实惠。无论您当前的需求是否低于1PB、10PB 还是数百PB。
  2. 安全性:即便涉及到多个驱动器、服务器、容器或位置,也能始终确保数据机密性。从内置的静态和动态数据加密到一系列验证与访问控制选项,IBM COS 提供丰富的功能,帮助您满足安全需求。这些安全功能得到充分实施,可实现更高的安全性,同时不会影响可扩展性、可用性、易管理性或经济效益。
  3. 可靠性与可用性:在IBM COS System 内,系统的可靠性与可用性特征是可以配置的。静态数据加密,采用擦除码算法(erasure coding),提供最低6个9的可用性。数据永久在线,替代传统的NAS和磁带,无论是否有计划内或计划外停机都能随时使用数据。对于要求极端严苛的应用程序而言,可以提供16个9的可靠性与8 个 9 的可用性。 但更普遍的情况是,客户可以配置更正常的可靠性与可用性级别,从而实现更多经济节省。IBM COS System 系统具备可配置性,因此您可选择最适合您要求的可靠性、可用性以及经济性组合。通过内置的完整性检查和自行修复功能实现长久的数据持久性。
  4. 易管理性:每位管理员可以更轻松地管理数十PB的存储容量。IBM COS System 的易管理性让管理员管理的存储容量增加了15倍,能够将时间腾出来处理其他任务。IBM COS System可提供始终如一的可用性,可以在完成任务时继续为存储应用程序提供服务,而在大多数传统存储系统中,则需要计划停机时间。软件升级、硬件维护、存储容量扩展、硬件刷新以及存储系统的物理重定位,几乎都可在不发生停机的情况下完成。
  5. 经济性/TCO:IBM COS的软件定义存储解决方案无需IBM 特定或专有的硬件。IBM COS软件与行业标准硬件系统结合使用,有助于IT组织显著降低每可用TB曲线的成本,帮助组织以更经济的方式管理迅速曾展个存储容量需求。
    IBM COS 无需成本高昂的复制,在PB 甚至更高级别显著降低存储系统的总拥有成本。可根据客户的具体要求配置可靠性和可用性特征。软件使用独特的信息传播算法 (IDA) 保护数字资产,而无需存储多个副本,后者会将物理存储容量降低50% 以上。IDA 在存储数据之前会对数据进行编码,使用这种方法,即便出现多次硬盘或服务器故障,甚至是站点中断,数据仍继续可用,同时仅需存储一份数据即可。另外,IBM COS System 可用容量的利用率可高达99%,且不会出现显著的性能下降,而在大多数传统的存储系统中,随着利用率的提高,性能通常会有所下降。
    IBM COS对象存储采用以太网组网,利用大容量高密度低转速近线SAS盘和通用X86服务器等,带来极大的成本降低。如下图所示,举例来说,存储节点选用高密度大容量8TB磁盘,单台4U高的PC服务器即可容纳384TB容量,12台服务器均衡部署三站点,总体裸容量4.5PB,结合纠删码技术7/12带来的1.7倍冗余系数,12台PC服务器总体可用容量达2.6PB。与大多数传统存储系统以及公共云存储相比,IBM COS system 可节省高达 80% 的TCO。TCO节省不仅反映在更低的购置成本,还体现在因为硬件占地面积减小而节省的电源、冷却成本和空间,以及在存储管理和运作方面投入的更低人力成本

[A] 匿名用户
推荐xsky星辰天合产品,对海量小文件以及数据存储带宽性能优化较好

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

6

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

活动总结
活动总结是社区交流活动内容的总结及延伸,为大家提供了社区专家们丰富且高水平的理论知识、实践经验以及常见问题的最佳解决方法,非常值得大家收藏学习。

相关文章

相关问题

相关资料

X社区推广