大型企业中,SDS对象存储是否可替代集中式NAS存储?

在传统的大型企业中,集中式NAS存储设备应用广泛。传统集中式NAS存储设备,成本较低,操作简便,并且其自身定位于FC-SAN存储设备的补充被大数企业所认可。而SDS对象存储在存储海量非结构化数据这一功能方面与NAS存储相重合,那么对于企业非结构化数据发展的角度来说,从长远看是否要...显示全部

在传统的大型企业中,集中式NAS存储设备应用广泛。传统集中式NAS存储设备,成本较低,操作简便,并且其自身定位于FC-SAN存储设备的补充被大数企业所认可。
而SDS对象存储在存储海量非结构化数据这一功能方面与NAS存储相重合,那么对于企业非结构化数据发展的角度来说,从长远看是否要转型采用SDS对象存储?如果转型为SDS对象存储,企业信息化发展会有哪些收益?

收起
参与40

查看其它 9 个回答李静12138的回答

李静12138李静12138  产品解决方案总监 , 星辰天合(北京)数据科技有限公司

如今传统企业的IT部门正在经历着互联网公司曾经遭遇的NAS无法解决的存储难题,主要体现在如下方面:NAS存储采用古老的文件系统技术,单个文件系统容量受限,超过容量后对IT运维将带来巨大挑战;NAS存储的目录文件系统采用B+树进行文件索引,当文件数量过多时,会严重影响访问性能;NAS设备过维保后,由于非结构化数据规模较大,在更换时需要花费大量时间,且数据迁移存在风险等等。

分布式去中心架构,容量和性能扩展方便

对象存储普遍采用的是基于通用x86服务器+分布式对象存储软件的技术架构,对象存储软件将多台服务器通过以太网连接,构建成一个统一的存储资源池,可动态增加或删除服务器实现容量的调整,数据能够自动均衡,并且利用副本和纠删机制(类似于RAID5/6)实现数据的高可靠和高可用性。

传统NAS过维保后,需要将过保设备上的数据人工迁移到新购置的NAS上,文件数量较多的用户需要花1到2个月时间,运维人力消耗非常大。而采用如下图所示的分布式架构,可以动态移除旧设备,无需人工干预,业务也不受影响。

创新的索引技术,真正解决海量小文件问题

海量小文件的存储是工业界和学术界公认的难题,解决问题较为关键的技术点就是优化元数据管理,由于传统NAS采用B+树进行文件检索,当文件数量比较少的时候,B+树基本可以被缓存,性能还是不错的。但随着文件数量的增多,B+树占用空间非常大无法被缓存时,就会涉及到机械盘操作导致性能明显下降,如果层级较深,仅仅索引访问就会产生多次磁盘随机访问操作,严重影响文件的访问性能。

而对象存储普遍采用了分布式哈希查找算法(DHT),技术原理:在建立集群时,对象存储将整个存储空间划分成一个哈希环,每个磁盘负责哈希环中部分哈希分区的存储。当需要访问一个文件时,系统通过“目录/桶名+文件名”的哈希计算后,查询DHT表即可定位到具体磁盘进行文件访问。由于哈希环并不随文件数量的增加而增多,所以查找性能不会受到文件数量的影响。

超大容量单目录,满足业务生命周期存储需求

传统NAS存储采用文件系统技术,单个文件系统容量普遍在几十TB级。由于IT管理人员在业务上线前无法对规范容量和目录需求做出精准评估,对于某些产生数据量较大的业务系统来说,需要挂载多个文件系统目录,这会带来很多非增值的运维工作。而对象存储采用扁平化的文件名唯一定位方式,单个目录或者存储空间能达到数十PB甚至数百PB级,可以满足业务系统整个生命周期的存储容量需求,无需挂载目录和调整业务系统,让IT人员更加关注业务价值本身。

更加适用于多数据中心容灾场景

高效的业务系统容灾方案是企业IT部门最为关注的焦点之一。对象存储在接口方面的技术改良,使其在多数据中心容灾方面支持得更加完善,大部分对象存储厂商都支持两个及以上的多数据中心容灾。传统NAS往往是主备模式的容灾,而对象存储普遍支持Active-Active模式的容灾,可实现本地数据中心应用的就近访问。这对于采用负载均衡模式数据中心的企业来说,是非常有价值的,可以提升每个数据中心业务系统的访问性能。

实现私有云和公有云间的数据流通

随着企业互联网业务的发展,越来越多的应用运行在智能终端和公有云平台上,而考虑到安全性和保密性,数据依然保存在企业内部。传统NAS的CIFS/NFS协议只能被企业内网访问,无法直接提供给外部网络。对象存储最早被应用在互联网和公有云场景,所以对象存储的访问协议(S3、SWIFT)都是基于HTTP标准协议,可支持内网和外网应用系统对存储的自由访问。在安全性方面,数据采用AES进行加密传输,支持HTTPS保证传输链路安全。S3协议还定义了完整的多租户访问、文件粒度的授权访问等多种安全技术,保证了数据开放给外网访问的安全性。

这些都是对象的好处,但文件的存量非常的大,涉及很多应用类型,从nas到对象是大势所趋,但要应用接口改造都支持对象协议还有一个过渡期。

软件开发 · 2019-09-17
浏览4473

回答者

李静12138
产品解决方案总监星辰天合(北京)数据科技有限公司
擅长领域: 存储分布式系统服务器

李静12138 最近回答过的问题

回答状态

  • 发布时间:2019-09-17
  • 关注会员:13 人
  • 回答浏览:4473
  • X社区推广