存量非结构化数据300TB,每年新增不超过100TB,文件数也不是海量,有必要从NAS转到对象存储吗?

主要还有点担心对象存储的稳定性,毕竟不少是基于x86服务器搭建的,并且现在传统的nas双活架构也比较成熟,性价比也非常高。

11回答

gk711gk711  云平台架构师 , 国泰君安证券
twthaiziaixchina去世的闲人等赞同了此回答
从数据容量上看,不需要转对象存储。但是集中NAS文件存储,会涉及到一个inode索引空间。如果一个文件目录里面小文件数量太多,会占用的inode空间,一旦inode空间用完会导致文件系统不可用,同时会影响文件读取遍历速度。对象存储可以避免这种问题,需要结合应用使用文件系统的方式具...显示全部

从数据容量上看,不需要转对象存储。但是集中NAS文件存储,会涉及到一个inode索引空间。如果一个文件目录里面小文件数量太多,会占用的inode空间,一旦inode空间用完会导致文件系统不可用,同时会影响文件读取遍历速度。对象存储可以避免这种问题,需要结合应用使用文件系统的方式具体来定。

收起
 2020-11-13
浏览860
victortpvictortp  系统架构师 , 某大型保险
yjluckyzhuhaiqiang赞同了此回答
对扩容的要求高,对象存储适合。对象存储也有多副本或者是纠删码,集群规模大些,稳定性可以保障 以下方面需要考虑。一  用户的习惯代码强的团队使用对象存储会便利些,否则会很别扭 二 数据操作NAS数据直观可读取,无论是存放、获取、备份、归档相关操作都是非常方便 ,对象存...显示全部

对扩容的要求高,对象存储适合。
对象存储也有多副本或者是纠删码,集群规模大些,稳定性可以保障

以下方面需要考虑。
一  用户的习惯
代码强的团队使用对象存储会便利些,否则会很别扭

二 数据操作
NAS数据直观可读取,无论是存放、获取、备份、归档相关操作都是非常方便 ,
对象存储,相比NAS方便操作方面的优越性基本为0,需要应用的配合。

三 高可用 稳定性
稳定性方面区别不大
NAS靠着双活 raid相关
对象存储也有多副本或者是纠删码,集群规模大些,稳定性可以保障

四 成本
对象存储相对NAS并不一定能节省成本。

收起
 2020-11-13
浏览974
floweryflowery  存储解决方案架构师 , SandStone杉岩数据
yjlucky赞同了此回答
从杉岩在金融行业的实践来看,对象存储的稳定性已经在多个项目中得到了验证。以杉岩MOS对象存储为例,帮助广发证券管理6亿文件(PB级),从2017年稳定运行至今零故障,客户多次扩容升级,支持的应用范围不断扩展;再如帮助CFCA管理50亿电子认证文件,帮助中国人保广东分公司和中山农商行(百...显示全部

从杉岩在金融行业的实践来看,对象存储的稳定性已经在多个项目中得到了验证。以杉岩MOS对象存储为例,帮助广发证券管理6亿文件(PB级),从2017年稳定运行至今零故障,客户多次扩容升级,支持的应用范围不断扩展;再如帮助CFCA管理50亿电子认证文件,帮助中国人保广东分公司和中山农商行(百TB级)管理金融影像数据等。无论是容量还是访问性能较原有NAS都有显著提升,而且持续稳定运行。下面从3个维度解答一下您的问题,希望对您有所帮助。

1.稳定性/可靠性

NAS经过多年发展,主流产品的稳定性毋庸置疑。双控制器架构保障稳定性,中低端NAS通过RAID保障可靠性,高端NAS额外增加双活机制来提供高RPO/RTO的数据保护。但是,NAS内部的文件管理采用树形结构,单个挂载点达到5000万文件左右,会出现明显性能下降。

近几年对象存储应用场景越来越多,支撑的容量范围覆盖百TB级到EB级,数据规模覆盖千万级到百亿级甚至更多。对象存储的商用稳定性在众多金融行业的项目中已经得到验证。另外,主流对象存储厂商都提供多副本和纠删的数据保护机制,可以提供11个9的可靠性。另外对象存储的多节点集群相较NAS的双控架构,尤其是在意外故障情况下,其性能稳定性和数据可靠性要更好一些。

2.性价比

300TB的存量数据,初期采购一套NAS 挂磁盘框基本可以解决。但年增量100TB,后期扩容会比较频繁,再加上一系列的软件License和服务费用,总成本不一定比对象存储低。这种数据增量比较大的情形,NAS的挂载点会越来越多,管理起来复杂;对象存储的弹性扩展优势会体现得更加明显,运维工作量上也能减轻不少。人的成本(维护管理)今后会越来越高,而且是长期存在的,相比之下设备的一次性采购成本占比会越来越小。杉岩的对象存储提供文件接口和数据迁移方案,也可以纳管客户现有的NAS设备,提供统一命名空间的资源池,充分利旧,平滑迁移,进一步节省成本。

3.未来就绪

从基础设施的未来就绪能力上看,对象存储依托分布式架构,提供应用无感知扩容,容量性能不存在瓶颈,不会面临更高端NAS完全替代低端NAS的尴尬情形。

从业务应用的未来就绪能力上看,对象存储比NAS在支撑容器平台和互联网金融业务方面更具优势,满足敏捷高效的需求,而且依托S3/OSS接口可无缝对接公有云平台,打造混合云存储方案,实现应用、数据在云端和本地的灵活迁移,让业务创新有更多可能。

企业面对的是不断变化的市场,永远会有新的业务要上线,目前未知的数据在今后可能要存储,从长远考虑,选择能够应对未来挑战的对象存储,显然比成熟但没有太大创新空间的NAS存储更合适。

收起
 2020-11-13
浏览818
bbaimm88bbaimm88  系统架构师 , 银行
zhuhaiqiang赞同了此回答
仅仅从数据量来说 没有必要,还得结合业务读场景看看,1、不是海量说明小文件不多!!!2、是否存在读瓶颈,大规模并发读,2、1年总量100T增量 写应该不是问题。 没有瓶颈完全没有必要,对象分布式可以解决读并发。...显示全部

仅仅从数据量来说 没有必要,还得结合业务读场景看看,
1、不是海量说明小文件不多!!!
2、是否存在读瓶颈,大规模并发读,
2、1年总量100T增量 写应该不是问题。

没有瓶颈完全没有必要,对象分布式可以解决读并发。

收起
 2020-11-13
浏览894
jimV5jimV5  存储工程师 , 金融保险
zhuhaiqiang赞同了此回答
看应用访问模型,及成本规模。对象不支持追加写,只支持上传下载,http延时大,对象支持多地部署,即多活。 文件有需要mount挂载,有些时候由于网络或者存储服务的异常会出现主机io hang...显示全部

看应用访问模型,及成本规模。
对象不支持追加写,只支持上传下载,http延时大,对象支持多地部署,即多活。

文件有需要mount挂载,有些时候由于网络或者存储服务的异常会出现主机io hang

收起
 2020-11-13
浏览920
qiuhaoshuqiuhaoshu  技术经理 , 恒展数通
首先需要看业务后面发展需求,如果小文件超多,并且需要快速查询。业务系统可以增加s3功能支持的话就考虑对象存储。只是简单的文件存储,可以采用分布式存储,不必非要有s3功能。这样扩容等都快速。...显示全部

首先需要看业务后面发展需求,如果小文件超多,并且需要快速查询。业务系统可以增加s3功能支持的话就考虑对象存储。只是简单的文件存储,可以采用分布式存储,不必非要有s3功能。这样扩容等都快速。

收起
 2020-11-17
浏览479
你提到的稳定性和双活其实对象都可以,几十PB的也在用,三站点多活的也有。但必要性是另外一个概念,譬如目前使用是否碰到瓶颈,有无痛点,有这个想法是设备到期了吗?未来业务这边是否会有变化,是否会有云原生的应用?可以从这些维度进行考虑。...显示全部

你提到的稳定性和双活其实对象都可以,几十PB的也在用,三站点多活的也有。但必要性是另外一个概念,譬如目前使用是否碰到瓶颈,有无痛点,有这个想法是设备到期了吗?未来业务这边是否会有变化,是否会有云原生的应用?可以从这些维度进行考虑。

收起
 2020-11-15
浏览699
匿名用户匿名用户
1传统nas的弊端:首先Nas还是传统文件系统的结构,非结构化数据通常是大量的小文件,随着数据量的继续增长传统文件系统检索会变慢。第二300T数据如果是在线数据的规模可以说已经很大了,这些数据的备份历史数据查询管理是一个庞大的任务庞大的任务,即使是在线加离线300T也要考虑...显示全部

1传统nas的弊端:首先Nas还是传统文件系统的结构,非结构化数据通常是大量的小文件,随着数据量的继续增长传统文件系统检索会变慢。第二300T数据如果是在线数据的规模可以说已经很大了,这些数据的备份历史数据查询管理是一个庞大的任务庞大的任务,即使是在线加离线300T也要考虑为这些数据做容灾高可用即raid和容灾的消耗,维护的成本可想而知。
2对象存储冗余性高:经我们调研和poc测试,对象存储如果使用纠删码的方案做数据冗余,可以提供至少75%的得盘率,而其其冗余性高于raid,以某厂商5节点12+4纠删码方案,得盘率75%但可提供四块不在位于不同节点的硬盘同时故障或者至少一个节点故障,站点容灾对象存储支持双活,是比较好的非结构化数据存储的方案。
3对象存储的新特性:天然支持http访问方式原应用开发改造的工作量小,对移动端开发友好。自定义元数据等创新功能赋能新业务场景场景,更好服务有关联的业务系统。
4 对象的劣势:它是一种成本控制更好的方案不太追求性能性能,频繁修改的业务还是适合结构化的方案。

收起
 2020-11-14
浏览757
对象存储稳定性,如果是企业级解决方案,是没有问题的。 对象存储解决的问题主要包括: 1、数据的元数据访问,文件系统的元数据访问负荷如果过重,对象的“扁平化”使得访问效率得以大幅度提升; 2、基于云平台方式的访问,非长连接的连接方式,不存在锁,就近访问等等,更适合移动平台访问; ...显示全部

对象存储稳定性,如果是企业级解决方案,是没有问题的。

对象存储解决的问题主要包括:

1、数据的元数据访问,文件系统的元数据访问负荷如果过重,对象的“扁平化”使得访问效率得以大幅度提升;

2、基于云平台方式的访问,非长连接的连接方式,不存在锁,就近访问等等,更适合移动平台访问;

3、基于纠删码的容错机制,更适合分布式系统,提供多站点数据容错,强一致性等,容易实现多站点访问;

基于这些原因,再来考虑你的需求,数据量和文件数量只是其中一方面考虑的因素。

你可以看看“数据湖”的解决方案,同一份数据,支持同时采用不同的协议访问,包括 NFS/SMB/HDFS/SWIFT/S3/HTTP ,没有传统 NAS 的瓶颈,分布式系统,企业级解决方案!足够可靠。

收起
 2020-11-13
浏览783
对象存储现在落地很多了,有多副本或者纠删码,稳定性不用担心;关键的几个问题:1. 未来发展一定是如预计的这样 ?  2. 对于读写性能要求高吗 ?并发用户数多少 ?3. 成本核算;数据量应该不是唯一考虑因素。如果考虑服务器稳定性的问题,可以考虑 K1 Power Linux 。...显示全部

对象存储现在落地很多了,有多副本或者纠删码,稳定性不用担心;关键的几个问题:1. 未来发展一定是如预计的这样 ?  2. 对于读写性能要求高吗 ?并发用户数多少 ?3. 成本核算;数据量应该不是唯一考虑因素。如果考虑服务器稳定性的问题,可以考虑 K1 Power Linux 。

收起
 2020-11-13
浏览793

核心存储选型优先顺序调查

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2020-11-13
  • 关注会员:12 人
  • 问题浏览:4846
  • 最近回答:2020-11-17