存量非结构化数据300TB,每年新增不超过100TB,文件数也不是海量,有必要从NAS转到对象存储吗?

主要还有点担心对象存储的稳定性,毕竟不少是基于x86服务器搭建的,并且现在传统的nas双活架构也比较成熟,性价比也非常高。

参与43

12同行回答

pobirdpobird系统架构师新网银行
首先成熟商业产品的对象存储稳定性没什么问题。其次,这个就不该是从存储端决定的,而是从应用端,或者整个架构侧决定的事情。如果是很少几个系统在用这个nas,那换不换都无所谓,但是如果是一个通用平台,承载大量复杂应用,那就需要通盘考虑。存储是否能够双活,mount的软硬模式夯住的...显示全部

首先成熟商业产品的对象存储稳定性没什么问题。
其次,这个就不该是从存储端决定的,而是从应用端,或者整个架构侧决定的事情。
如果是很少几个系统在用这个nas,那换不换都无所谓,但是如果是一个通用平台,承载大量复杂应用,那就需要通盘考虑。
存储是否能够双活,mount的软硬模式夯住的风险,扩容能力等等,都还是次要,两种都能通过技术手段解决。

对象存储和NAS从存储视角没太大差异,但是从应用视角或者架构视角完全是两回事。
对象存储是一个应用层http的服务,需要读写时,一条语句临时访问读写就行,nas是要mount盘的。
如果说整体云原生体系做的比较好了,这时不可变基础设施已经是基本要求,应用侧架构师根本不可能允许使用nas。一个版本的应用镜像,推出几十个容器,然后要手动给每个容器去固定宿主机去依次挂盘么?根本不可行的,只能是应用直接访问http对象服务。

再从运维侧看,银行业的应用复杂度,导致某些虚机动辄几十上百个挂载目录的互访情况,运维人员做扩容都不敢新建,只敢克隆,而在对象存储环境,运维只要针对一个服务进行维护就好了,根本不需要去关注每个客户端。现在的服务质量,很多时候要求应用动态扩容,挂载一大堆目录这种怎么扩?单独给它再做基础镜像么?

还是最核心一个观点,这个事,不是存储侧的事,是架构或者应用侧的事。

收起
银行 · 2020-12-02
浏览3555
qiuhaoshuqiuhaoshu技术经理恒展数通
首先需要看业务后面发展需求,如果小文件超多,并且需要快速查询。业务系统可以增加s3功能支持的话就考虑对象存储。只是简单的文件存储,可以采用分布式存储,不必非要有s3功能。这样扩容等都快速。...显示全部

首先需要看业务后面发展需求,如果小文件超多,并且需要快速查询。业务系统可以增加s3功能支持的话就考虑对象存储。只是简单的文件存储,可以采用分布式存储,不必非要有s3功能。这样扩容等都快速。

收起
系统集成 · 2020-11-17
浏览3932
你提到的稳定性和双活其实对象都可以,几十PB的也在用,三站点多活的也有。但必要性是另外一个概念,譬如目前使用是否碰到瓶颈,有无痛点,有这个想法是设备到期了吗?未来业务这边是否会有变化,是否会有云原生的应用?可以从这些维度进行考虑。...显示全部

你提到的稳定性和双活其实对象都可以,几十PB的也在用,三站点多活的也有。但必要性是另外一个概念,譬如目前使用是否碰到瓶颈,有无痛点,有这个想法是设备到期了吗?未来业务这边是否会有变化,是否会有云原生的应用?可以从这些维度进行考虑。

收起
IT咨询服务 · 2020-11-15
浏览4162
匿名用户匿名用户
1传统nas的弊端:首先Nas还是传统文件系统的结构,非结构化数据通常是大量的小文件,随着数据量的继续增长传统文件系统检索会变慢。第二300T数据如果是在线数据的规模可以说已经很大了,这些数据的备份历史数据查询管理是一个庞大的任务庞大的任务,即使是在线加离线300T也要考虑...显示全部

1传统nas的弊端:首先Nas还是传统文件系统的结构,非结构化数据通常是大量的小文件,随着数据量的继续增长传统文件系统检索会变慢。第二300T数据如果是在线数据的规模可以说已经很大了,这些数据的备份历史数据查询管理是一个庞大的任务庞大的任务,即使是在线加离线300T也要考虑为这些数据做容灾高可用即raid和容灾的消耗,维护的成本可想而知。
2对象存储冗余性高:经我们调研和poc测试,对象存储如果使用纠删码的方案做数据冗余,可以提供至少75%的得盘率,而其其冗余性高于raid,以某厂商5节点12+4纠删码方案,得盘率75%但可提供四块不在位于不同节点的硬盘同时故障或者至少一个节点故障,站点容灾对象存储支持双活,是比较好的非结构化数据存储的方案。
3对象存储的新特性:天然支持http访问方式原应用开发改造的工作量小,对移动端开发友好。自定义元数据等创新功能赋能新业务场景场景,更好服务有关联的业务系统。
4 对象的劣势:它是一种成本控制更好的方案不太追求性能性能,频繁修改的业务还是适合结构化的方案。

收起
银行 · 2020-11-14
浏览4291
对象存储稳定性,如果是企业级解决方案,是没有问题的。对象存储解决的问题主要包括:1、数据的元数据访问,文件系统的元数据访问负荷如果过重,对象的“扁平化”使得访问效率得以大幅度提升;2、基于云平台方式的访问,非长连接的连接方式,不存在锁,就近访问等等,更适合移动平台访问;3、...显示全部

对象存储稳定性,如果是企业级解决方案,是没有问题的。

对象存储解决的问题主要包括:

1、数据的元数据访问,文件系统的元数据访问负荷如果过重,对象的“扁平化”使得访问效率得以大幅度提升;

2、基于云平台方式的访问,非长连接的连接方式,不存在锁,就近访问等等,更适合移动平台访问;

3、基于纠删码的容错机制,更适合分布式系统,提供多站点数据容错,强一致性等,容易实现多站点访问;

基于这些原因,再来考虑你的需求,数据量和文件数量只是其中一方面考虑的因素。

你可以看看“数据湖”的解决方案,同一份数据,支持同时采用不同的协议访问,包括 NFS/SMB/HDFS/SWIFT/S3/HTTP ,没有传统 NAS 的瓶颈,分布式系统,企业级解决方案!足够可靠。

收起
硬件生产 · 2020-11-13
浏览1646
沈天真沈天真售前支持IPS
对象存储现在落地很多了,有多副本或者纠删码,稳定性不用担心;关键的几个问题:1. 未来发展一定是如预计的这样 ?  2. 对于读写性能要求高吗 ?并发用户数多少 ?3. 成本核算;数据量应该不是唯一考虑因素。如果考虑服务器稳定性的问题,可以考虑 K1 Power Linux 。...显示全部

对象存储现在落地很多了,有多副本或者纠删码,稳定性不用担心;关键的几个问题:1. 未来发展一定是如预计的这样 ?  2. 对于读写性能要求高吗 ?并发用户数多少 ?3. 成本核算;数据量应该不是唯一考虑因素。如果考虑服务器稳定性的问题,可以考虑 K1 Power Linux 。

收起
硬件生产 · 2020-11-13
浏览1648
floweryflowery存储解决方案架构师杉岩数据
从杉岩在金融行业的实践来看,对象存储的稳定性已经在多个项目中得到了验证。以杉岩MOS对象存储为例,帮助广发证券管理6亿文件(PB级),从2017年稳定运行至今零故障,客户多次扩容升级,支持的应用范围不断扩展;再如帮助CFCA管理50亿电子认证文件,帮助中国人保广东分公司和中山农商行(百...显示全部

从杉岩在金融行业的实践来看,对象存储的稳定性已经在多个项目中得到了验证。以杉岩MOS对象存储为例,帮助广发证券管理6亿文件(PB级),从2017年稳定运行至今零故障,客户多次扩容升级,支持的应用范围不断扩展;再如帮助CFCA管理50亿电子认证文件,帮助中国人保广东分公司和中山农商行(百TB级)管理金融影像数据等。无论是容量还是访问性能较原有NAS都有显著提升,而且持续稳定运行。下面从3个维度解答一下您的问题,希望对您有所帮助。

1.稳定性/可靠性

NAS经过多年发展,主流产品的稳定性毋庸置疑。双控制器架构保障稳定性,中低端NAS通过RAID保障可靠性,高端NAS额外增加双活机制来提供高RPO/RTO的数据保护。但是,NAS内部的文件管理采用树形结构,单个挂载点达到5000万文件左右,会出现明显性能下降。

近几年对象存储应用场景越来越多,支撑的容量范围覆盖百TB级到EB级,数据规模覆盖千万级到百亿级甚至更多。对象存储的商用稳定性在众多金融行业的项目中已经得到验证。另外,主流对象存储厂商都提供多副本和纠删的数据保护机制,可以提供11个9的可靠性。另外对象存储的多节点集群相较NAS的双控架构,尤其是在意外故障情况下,其性能稳定性和数据可靠性要更好一些。

2.性价比

300TB的存量数据,初期采购一套NAS 挂磁盘框基本可以解决。但年增量100TB,后期扩容会比较频繁,再加上一系列的软件License和服务费用,总成本不一定比对象存储低。这种数据增量比较大的情形,NAS的挂载点会越来越多,管理起来复杂;对象存储的弹性扩展优势会体现得更加明显,运维工作量上也能减轻不少。人的成本(维护管理)今后会越来越高,而且是长期存在的,相比之下设备的一次性采购成本占比会越来越小。杉岩的对象存储提供文件接口和数据迁移方案,也可以纳管客户现有的NAS设备,提供统一命名空间的资源池,充分利旧,平滑迁移,进一步节省成本。

3.未来就绪

从基础设施的未来就绪能力上看,对象存储依托分布式架构,提供应用无感知扩容,容量性能不存在瓶颈,不会面临更高端NAS完全替代低端NAS的尴尬情形。

从业务应用的未来就绪能力上看,对象存储比NAS在支撑容器平台和互联网金融业务方面更具优势,满足敏捷高效的需求,而且依托S3/OSS接口可无缝对接公有云平台,打造混合云存储方案,实现应用、数据在云端和本地的灵活迁移,让业务创新有更多可能。

企业面对的是不断变化的市场,永远会有新的业务要上线,目前未知的数据在今后可能要存储,从长远考虑,选择能够应对未来挑战的对象存储,显然比成熟但没有太大创新空间的NAS存储更合适。

收起
软件开发 · 2020-11-13
浏览4336
haozhangsirhaozhangsir系统工程师银华
这个问题是很多客户碰到的,单纯从数据量来说,确实传统的nas还可以用,未来增加也不会海量。不过数据终究是一直增长的,而且这种非结构化数据的场景确实适合对象存储,所以从未来角度,或者技术发展的角度来说,推荐进行替换。...显示全部

这个问题是很多客户碰到的,单纯从数据量来说,确实传统的nas还可以用,未来增加也不会海量。不过数据终究是一直增长的,而且这种非结构化数据的场景确实适合对象存储,所以从未来角度,或者技术发展的角度来说,推荐进行替换。

收起
基金 · 2020-11-13
浏览3890
gk711gk711云平台架构师某证券企业
从数据容量上看,不需要转对象存储。但是集中NAS文件存储,会涉及到一个inode索引空间。如果一个文件目录里面小文件数量太多,会占用的inode空间,一旦inode空间用完会导致文件系统不可用,同时会影响文件读取遍历速度。对象存储可以避免这种问题,需要结合应用使用文件系统的方式具...显示全部

从数据容量上看,不需要转对象存储。但是集中NAS文件存储,会涉及到一个inode索引空间。如果一个文件目录里面小文件数量太多,会占用的inode空间,一旦inode空间用完会导致文件系统不可用,同时会影响文件读取遍历速度。对象存储可以避免这种问题,需要结合应用使用文件系统的方式具体来定。

收起
证券 · 2020-11-13
浏览4459
bbaimm88bbaimm88系统架构师银行
仅仅从数据量来说 没有必要,还得结合业务读场景看看,1、不是海量说明小文件不多!!!2、是否存在读瓶颈,大规模并发读,2、1年总量100T增量 写应该不是问题。没有瓶颈完全没有必要,对象分布式可以解决读并发。...显示全部

仅仅从数据量来说 没有必要,还得结合业务读场景看看,
1、不是海量说明小文件不多!!!
2、是否存在读瓶颈,大规模并发读,
2、1年总量100T增量 写应该不是问题。

没有瓶颈完全没有必要,对象分布式可以解决读并发。

收起
银行 · 2020-11-13
浏览4393

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-11-13
  • 关注会员:14 人
  • 问题浏览:12520
  • 最近回答:2020-12-02
  • X社区推广