存量非结构化数据300TB,每年新增不超过100TB,文件数也不是海量,有必要从NAS转到对象存储吗?

主要还有点担心对象存储的稳定性,毕竟不少是基于x86服务器搭建的,并且现在传统的nas双活架构也比较成熟,性价比也非常高。

12回答

gk711gk711  云平台架构师 , 某证券企业
twthaiziaixchina去世的闲人等赞同了此回答
从数据容量上看,不需要转对象存储。但是集中NAS文件存储,会涉及到一个inode索引空间。如果一个文件目录里面小文件数量太多,会占用的inode空间,一旦inode空间用完会导致文件系统不可用,同时会影响文件读取遍历速度。对象存储可以避免这种问题,需要结合应用使用文件系统的方式具...显示全部

从数据容量上看,不需要转对象存储。但是集中NAS文件存储,会涉及到一个inode索引空间。如果一个文件目录里面小文件数量太多,会占用的inode空间,一旦inode空间用完会导致文件系统不可用,同时会影响文件读取遍历速度。对象存储可以避免这种问题,需要结合应用使用文件系统的方式具体来定。

收起
 2020-11-13
浏览1798
pobirdpobird  系统架构师 , 新网银行
xujie1stzhuhaiqiangaixchina赞同了此回答
首先成熟商业产品的对象存储稳定性没什么问题。其次,这个就不该是从存储端决定的,而是从应用端,或者整个架构侧决定的事情。如果是很少几个系统在用这个nas,那换不换都无所谓,但是如果是一个通用平台,承载大量复杂应用,那就需要通盘考虑。存储是否能够双活,mount的软硬模式夯住的...显示全部

首先成熟商业产品的对象存储稳定性没什么问题。
其次,这个就不该是从存储端决定的,而是从应用端,或者整个架构侧决定的事情。
如果是很少几个系统在用这个nas,那换不换都无所谓,但是如果是一个通用平台,承载大量复杂应用,那就需要通盘考虑。
存储是否能够双活,mount的软硬模式夯住的风险,扩容能力等等,都还是次要,两种都能通过技术手段解决。

对象存储和NAS从存储视角没太大差异,但是从应用视角或者架构视角完全是两回事。
对象存储是一个应用层http的服务,需要读写时,一条语句临时访问读写就行,nas是要mount盘的。
如果说整体云原生体系做的比较好了,这时不可变基础设施已经是基本要求,应用侧架构师根本不可能允许使用nas。一个版本的应用镜像,推出几十个容器,然后要手动给每个容器去固定宿主机去依次挂盘么?根本不可行的,只能是应用直接访问http对象服务。

再从运维侧看,银行业的应用复杂度,导致某些虚机动辄几十上百个挂载目录的互访情况,运维人员做扩容都不敢新建,只敢克隆,而在对象存储环境,运维只要针对一个服务进行维护就好了,根本不需要去关注每个客户端。现在的服务质量,很多时候要求应用动态扩容,挂载一大堆目录这种怎么扩?单独给它再做基础镜像么?

还是最核心一个观点,这个事,不是存储侧的事,是架构或者应用侧的事。

收起
 2020-12-02
浏览874
floweryflowery  存储解决方案架构师 , SandStone杉岩数据
sandstoneyjlucky赞同了此回答
从杉岩在金融行业的实践来看,对象存储的稳定性已经在多个项目中得到了验证。以杉岩MOS对象存储为例,帮助广发证券管理6亿文件(PB级),从2017年稳定运行至今零故障,客户多次扩容升级,支持的应用范围不断扩展;再如帮助CFCA管理50亿电子认证文件,帮助中国人保广东分公司和中山农商行(百...显示全部

从杉岩在金融行业的实践来看,对象存储的稳定性已经在多个项目中得到了验证。以杉岩MOS对象存储为例,帮助广发证券管理6亿文件(PB级),从2017年稳定运行至今零故障,客户多次扩容升级,支持的应用范围不断扩展;再如帮助CFCA管理50亿电子认证文件,帮助中国人保广东分公司和中山农商行(百TB级)管理金融影像数据等。无论是容量还是访问性能较原有NAS都有显著提升,而且持续稳定运行。下面从3个维度解答一下您的问题,希望对您有所帮助。

1.稳定性/可靠性

NAS经过多年发展,主流产品的稳定性毋庸置疑。双控制器架构保障稳定性,中低端NAS通过RAID保障可靠性,高端NAS额外增加双活机制来提供高RPO/RTO的数据保护。但是,NAS内部的文件管理采用树形结构,单个挂载点达到5000万文件左右,会出现明显性能下降。

近几年对象存储应用场景越来越多,支撑的容量范围覆盖百TB级到EB级,数据规模覆盖千万级到百亿级甚至更多。对象存储的商用稳定性在众多金融行业的项目中已经得到验证。另外,主流对象存储厂商都提供多副本和纠删的数据保护机制,可以提供11个9的可靠性。另外对象存储的多节点集群相较NAS的双控架构,尤其是在意外故障情况下,其性能稳定性和数据可靠性要更好一些。

2.性价比

300TB的存量数据,初期采购一套NAS 挂磁盘框基本可以解决。但年增量100TB,后期扩容会比较频繁,再加上一系列的软件License和服务费用,总成本不一定比对象存储低。这种数据增量比较大的情形,NAS的挂载点会越来越多,管理起来复杂;对象存储的弹性扩展优势会体现得更加明显,运维工作量上也能减轻不少。人的成本(维护管理)今后会越来越高,而且是长期存在的,相比之下设备的一次性采购成本占比会越来越小。杉岩的对象存储提供文件接口和数据迁移方案,也可以纳管客户现有的NAS设备,提供统一命名空间的资源池,充分利旧,平滑迁移,进一步节省成本。

3.未来就绪

从基础设施的未来就绪能力上看,对象存储依托分布式架构,提供应用无感知扩容,容量性能不存在瓶颈,不会面临更高端NAS完全替代低端NAS的尴尬情形。

从业务应用的未来就绪能力上看,对象存储比NAS在支撑容器平台和互联网金融业务方面更具优势,满足敏捷高效的需求,而且依托S3/OSS接口可无缝对接公有云平台,打造混合云存储方案,实现应用、数据在云端和本地的灵活迁移,让业务创新有更多可能。

企业面对的是不断变化的市场,永远会有新的业务要上线,目前未知的数据在今后可能要存储,从长远考虑,选择能够应对未来挑战的对象存储,显然比成熟但没有太大创新空间的NAS存储更合适。

收起
 2020-11-13
浏览1737
bbaimm88bbaimm88  系统架构师 , 银行
郑天和zhuhaiqiang赞同了此回答
仅仅从数据量来说 没有必要,还得结合业务读场景看看,1、不是海量说明小文件不多!!!2、是否存在读瓶颈,大规模并发读,2、1年总量100T增量 写应该不是问题。 没有瓶颈完全没有必要,对象分布式可以解决读并发。...显示全部

仅仅从数据量来说 没有必要,还得结合业务读场景看看,
1、不是海量说明小文件不多!!!
2、是否存在读瓶颈,大规模并发读,
2、1年总量100T增量 写应该不是问题。

没有瓶颈完全没有必要,对象分布式可以解决读并发。

收起
 2020-11-13
浏览1804
victortpvictortp  系统架构师 , 某大型保险
yjluckyzhuhaiqiang赞同了此回答
对扩容的要求高,对象存储适合。对象存储也有多副本或者是纠删码,集群规模大些,稳定性可以保障 以下方面需要考虑。一  用户的习惯代码强的团队使用对象存储会便利些,否则会很别扭 二 数据操作NAS数据直观可读取,无论是存放、获取、备份、归档相关操作都是非常方便 ,对象存...显示全部

对扩容的要求高,对象存储适合。
对象存储也有多副本或者是纠删码,集群规模大些,稳定性可以保障

以下方面需要考虑。
一  用户的习惯
代码强的团队使用对象存储会便利些,否则会很别扭

二 数据操作
NAS数据直观可读取,无论是存放、获取、备份、归档相关操作都是非常方便 ,
对象存储,相比NAS方便操作方面的优越性基本为0,需要应用的配合。

三 高可用 稳定性
稳定性方面区别不大
NAS靠着双活 raid相关
对象存储也有多副本或者是纠删码,集群规模大些,稳定性可以保障

四 成本
对象存储相对NAS并不一定能节省成本。

收起
 2020-11-13
浏览1874
匿名用户匿名用户
zhuhaiqiang赞同了此回答
1传统nas的弊端:首先Nas还是传统文件系统的结构,非结构化数据通常是大量的小文件,随着数据量的继续增长传统文件系统检索会变慢。第二300T数据如果是在线数据的规模可以说已经很大了,这些数据的备份历史数据查询管理是一个庞大的任务庞大的任务,即使是在线加离线300T也要考虑...显示全部

1传统nas的弊端:首先Nas还是传统文件系统的结构,非结构化数据通常是大量的小文件,随着数据量的继续增长传统文件系统检索会变慢。第二300T数据如果是在线数据的规模可以说已经很大了,这些数据的备份历史数据查询管理是一个庞大的任务庞大的任务,即使是在线加离线300T也要考虑为这些数据做容灾高可用即raid和容灾的消耗,维护的成本可想而知。
2对象存储冗余性高:经我们调研和poc测试,对象存储如果使用纠删码的方案做数据冗余,可以提供至少75%的得盘率,而其其冗余性高于raid,以某厂商5节点12+4纠删码方案,得盘率75%但可提供四块不在位于不同节点的硬盘同时故障或者至少一个节点故障,站点容灾对象存储支持双活,是比较好的非结构化数据存储的方案。
3对象存储的新特性:天然支持http访问方式原应用开发改造的工作量小,对移动端开发友好。自定义元数据等创新功能赋能新业务场景场景,更好服务有关联的业务系统。
4 对象的劣势:它是一种成本控制更好的方案不太追求性能性能,频繁修改的业务还是适合结构化的方案。

收起
 2020-11-14
浏览1658
haozhangsirhaozhangsir  系统工程师 , 银华
zhuhaiqiang赞同了此回答
这个问题是很多客户碰到的,单纯从数据量来说,确实传统的nas还可以用,未来增加也不会海量。不过数据终究是一直增长的,而且这种非结构化数据的场景确实适合对象存储,所以从未来角度,或者技术发展的角度来说,推荐进行替换。...显示全部

这个问题是很多客户碰到的,单纯从数据量来说,确实传统的nas还可以用,未来增加也不会海量。不过数据终究是一直增长的,而且这种非结构化数据的场景确实适合对象存储,所以从未来角度,或者技术发展的角度来说,推荐进行替换。

收起
 2020-11-13
浏览1256
jimV5jimV5  存储工程师 , 金融保险
zhuhaiqiang赞同了此回答
看应用访问模型,及成本规模。对象不支持追加写,只支持上传下载,http延时大,对象支持多地部署,即多活。 文件有需要mount挂载,有些时候由于网络或者存储服务的异常会出现主机io hang...显示全部

看应用访问模型,及成本规模。
对象不支持追加写,只支持上传下载,http延时大,对象支持多地部署,即多活。

文件有需要mount挂载,有些时候由于网络或者存储服务的异常会出现主机io hang

收起
 2020-11-13
浏览1817
qiuhaoshuqiuhaoshu  技术经理 , 恒展数通
首先需要看业务后面发展需求,如果小文件超多,并且需要快速查询。业务系统可以增加s3功能支持的话就考虑对象存储。只是简单的文件存储,可以采用分布式存储,不必非要有s3功能。这样扩容等都快速。...显示全部

首先需要看业务后面发展需求,如果小文件超多,并且需要快速查询。业务系统可以增加s3功能支持的话就考虑对象存储。只是简单的文件存储,可以采用分布式存储,不必非要有s3功能。这样扩容等都快速。

收起
 2020-11-17
浏览1360
你提到的稳定性和双活其实对象都可以,几十PB的也在用,三站点多活的也有。但必要性是另外一个概念,譬如目前使用是否碰到瓶颈,有无痛点,有这个想法是设备到期了吗?未来业务这边是否会有变化,是否会有云原生的应用?可以从这些维度进行考虑。...显示全部

你提到的稳定性和双活其实对象都可以,几十PB的也在用,三站点多活的也有。但必要性是另外一个概念,譬如目前使用是否碰到瓶颈,有无痛点,有这个想法是设备到期了吗?未来业务这边是否会有变化,是否会有云原生的应用?可以从这些维度进行考虑。

收起
 2020-11-15
浏览1593

核心存储选型优先顺序调查

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2020-11-13
  • 关注会员:13 人
  • 问题浏览:6163
  • 最近回答:2020-12-02