大型企业中,SDS对象存储是否可替代集中式NAS存储?

在传统的大型企业中,集中式NAS存储设备应用广泛。传统集中式NAS存储设备,成本较低,操作简便,并且其自身定位于FC-SAN存储设备的补充被大数企业所认可。
而SDS对象存储在存储海量非结构化数据这一功能方面与NAS存储相重合,那么对于企业非结构化数据发展的角度来说,从长远看是否要转型采用SDS对象存储?如果转型为SDS对象存储,企业信息化发展会有哪些收益?

参与40

10同行回答

李静12138李静12138产品解决方案总监星辰天合(北京)数据科技有限公司
如今传统企业的IT部门正在经历着互联网公司曾经遭遇的NAS无法解决的存储难题,主要体现在如下方面:NAS存储采用古老的文件系统技术,单个文件系统容量受限,超过容量后对IT运维将带来巨大挑战;NAS存储的目录文件系统采用B+树进行文件索引,当文件数量过多时,会严重影响访问性能;NAS...显示全部

如今传统企业的IT部门正在经历着互联网公司曾经遭遇的NAS无法解决的存储难题,主要体现在如下方面:NAS存储采用古老的文件系统技术,单个文件系统容量受限,超过容量后对IT运维将带来巨大挑战;NAS存储的目录文件系统采用B+树进行文件索引,当文件数量过多时,会严重影响访问性能;NAS设备过维保后,由于非结构化数据规模较大,在更换时需要花费大量时间,且数据迁移存在风险等等。

分布式去中心架构,容量和性能扩展方便

对象存储普遍采用的是基于通用x86服务器+分布式对象存储软件的技术架构,对象存储软件将多台服务器通过以太网连接,构建成一个统一的存储资源池,可动态增加或删除服务器实现容量的调整,数据能够自动均衡,并且利用副本和纠删机制(类似于RAID5/6)实现数据的高可靠和高可用性。

传统NAS过维保后,需要将过保设备上的数据人工迁移到新购置的NAS上,文件数量较多的用户需要花1到2个月时间,运维人力消耗非常大。而采用如下图所示的分布式架构,可以动态移除旧设备,无需人工干预,业务也不受影响。

创新的索引技术,真正解决海量小文件问题

海量小文件的存储是工业界和学术界公认的难题,解决问题较为关键的技术点就是优化元数据管理,由于传统NAS采用B+树进行文件检索,当文件数量比较少的时候,B+树基本可以被缓存,性能还是不错的。但随着文件数量的增多,B+树占用空间非常大无法被缓存时,就会涉及到机械盘操作导致性能明显下降,如果层级较深,仅仅索引访问就会产生多次磁盘随机访问操作,严重影响文件的访问性能。

而对象存储普遍采用了分布式哈希查找算法(DHT),技术原理:在建立集群时,对象存储将整个存储空间划分成一个哈希环,每个磁盘负责哈希环中部分哈希分区的存储。当需要访问一个文件时,系统通过“目录/桶名+文件名”的哈希计算后,查询DHT表即可定位到具体磁盘进行文件访问。由于哈希环并不随文件数量的增加而增多,所以查找性能不会受到文件数量的影响。

超大容量单目录,满足业务生命周期存储需求

传统NAS存储采用文件系统技术,单个文件系统容量普遍在几十TB级。由于IT管理人员在业务上线前无法对规范容量和目录需求做出精准评估,对于某些产生数据量较大的业务系统来说,需要挂载多个文件系统目录,这会带来很多非增值的运维工作。而对象存储采用扁平化的文件名唯一定位方式,单个目录或者存储空间能达到数十PB甚至数百PB级,可以满足业务系统整个生命周期的存储容量需求,无需挂载目录和调整业务系统,让IT人员更加关注业务价值本身。

更加适用于多数据中心容灾场景

高效的业务系统容灾方案是企业IT部门最为关注的焦点之一。对象存储在接口方面的技术改良,使其在多数据中心容灾方面支持得更加完善,大部分对象存储厂商都支持两个及以上的多数据中心容灾。传统NAS往往是主备模式的容灾,而对象存储普遍支持Active-Active模式的容灾,可实现本地数据中心应用的就近访问。这对于采用负载均衡模式数据中心的企业来说,是非常有价值的,可以提升每个数据中心业务系统的访问性能。

实现私有云和公有云间的数据流通

随着企业互联网业务的发展,越来越多的应用运行在智能终端和公有云平台上,而考虑到安全性和保密性,数据依然保存在企业内部。传统NAS的CIFS/NFS协议只能被企业内网访问,无法直接提供给外部网络。对象存储最早被应用在互联网和公有云场景,所以对象存储的访问协议(S3、SWIFT)都是基于HTTP标准协议,可支持内网和外网应用系统对存储的自由访问。在安全性方面,数据采用AES进行加密传输,支持HTTPS保证传输链路安全。S3协议还定义了完整的多租户访问、文件粒度的授权访问等多种安全技术,保证了数据开放给外网访问的安全性。

这些都是对象的好处,但文件的存量非常的大,涉及很多应用类型,从nas到对象是大势所趋,但要应用接口改造都支持对象协议还有一个过渡期。

收起
软件开发 · 2019-09-17
浏览4536
JamesedgeJamesedge技术总监XSKY
对于这个问题可以从两方面考虑:1、未来数据中心规划及业务转型角度;2、应用场景功能性及成本方面。下面简单阐述这两方面:1、Gartner早在2016年就提出未来5-10年数据中心将采用双模IT的建设概念,所谓双模IT即对应传统应用架构、传统项目管理方式和运维管理方式的传统IT以及对...显示全部

对于这个问题可以从两方面考虑:1、未来数据中心规划及业务转型角度;2、应用场景功能性及成本方面。下面简单阐述这两方面:
1、Gartner早在2016年就提出未来5-10年数据中心将采用双模IT的建设概念,所谓双模IT即对应传统应用架构、传统项目管理方式和运维管理方式的传统IT以及对应敏态应用、云化和容器化架构、Devops管理方式的数字化IT;未来传统IT架构会逐步向数字化IT架构转型,在这过程中会有较长一段时间内是两种架构模式并存的,也就是说未来数年对应传统IT架构的传统集中式NAS和对应数字化IT模式的分布式SDS对象存储将会在数据中心内并存,但传统集中式NAS会逐步被分布式SDS对象存储替代,这是大的趋势,是业务转型所带来的。
2、从应用场景角度考虑,传统集中NAS更适合传统的巨石型应用,组件之间多采用紧耦合、业务数据量多在几百TB以内、多为单一数据中心的场景;而分布式SDS对象存储更适合敏捷、弹性化的新型应用,组件之间多采用松耦合、业务数据量多在几百TB-几十PB级别、需要做到多个数据中心部署等场景。相对应的数据量越大、数据容灾要求越高的场景对于分布式SDS对象存储更适合,其整体拥有成本也会比传统集中式NAS低得多。
现在的分布式SDS对象存储已经拥有支持文件到对象接口互转换以及互访问等功能,已经在存储层面为业务从NAS转对象做好了充分准备,越来越多的企业级应用也在积极拥抱对象协议,业务转型的时机已经逐渐成熟,Gartner的预测即将实现。

收起
软件开发 · 2019-12-03
浏览3571

提问者

cucu
系统工程师黑龙江省电力有限公司
擅长领域: 存储服务器系统运维

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-02-21
  • 关注会员:13 人
  • 问题浏览:10416
  • 最近回答:2019-12-03
  • X社区推广