nkj827
作者nkj827·2020-04-08 08:19
项目经理·长春长信华天

集群NAS

字数 2508阅读 1635评论 1赞 19

一、什么是集群NAS**

在大数据时代, 非结构化数据目前呈现快速增长趋势,IDC研究报告分析指出,到2018年非结构化数据将占到数据存储总量的80%以上。集群NAS是一种横向扩展(Scale-out)存储架构,具有容量和性能线性扩展的优势,已经得到全球市场的认可。从EMC对Isilon、HP对IBRIX、DELL对Exanet 、Compellent 等收购事件,以及IBM推出SONAS、NetApp发布Data ONTAP 8,都可以看出集群NAS已经成为主流存储技术之一。

在国内,我们也看到UIT UFS、龙存LoongStore、 达沃时代YeeStor 、九州初志CZSS、美地森YFS等集群NAS解决方案。集群NAS的未来潜在市场巨大,在高性能计算HPC、广电IPTV、视频监控、云存储等行业领域将逐步得到广泛应用。

高性能、高容量以及可扩展性是集群存储得以发展的最得人心的特征。

我们主要关注的是具有Scale-Out特性的集群NAS产品。


传统 NAS扩张 很容易带来以下问题:

  1. 系统管理。即便是NAS系统管理比SAN存储管理简便很多,但仍然需要花费时间和资源来管理。

2 . 管理客户端和应用对数据的访问。能够访问的前提是NAS系统必须挂载在对应 的 服务器或者工作站上。挂载会中断应用的访问,所以在挂载的时候需要预留好服务器上应用的宕机时间。挂载了越多的NAS系统,带来的是更多的宕机时间。

  1. 文件位置。关于定义文件存放位置的策略应该是基于性能,可访问性,文件创建时间,访问频率,存储成本,可用性,数据保护等诸多方面因素决定的。策略的设定本身不会太难,但事实上,要将文件移动到合适的NAS系统上 是 一个耗时间的手工数据迁移过程。 而且, 随着NAS系统越来越庞大,其复杂性也越来越高。

集群(Cluster)是由多个节点构成的一种松散耦合的计算节点集合,协同起来对外提供服务。集群NAS是指协同多个节点提供高性能、高可用或高负载均衡的NAS(NFS/CIFS)服务。 Scale Out NAS 通过将数据分布到集群中各节点的存储方式,提供单一的使用接口与界面,使用户可以方便地对所有数据进行统一使用与管理。集群中所有磁盘设备整合到单一的共享存储池中提供给前端的应用服务器 ,利于访问,同时 提高了磁盘利用率 。

Scale-out横向扩展架构的升级通常是以节点为单位, 每个节点往往将包含容量、处理能力和I / O带宽。一个节点被添加到存储系统,系统中的三种资源将同时升级。

从上面的图例可见,容量增长和性能扩展(即增加额外的控制器)是同时进行。

而且, Scale-out架构的存储系统在扩展之后,从用户的视角看起来仍然是一个单一的系统,这一点与我们将多个相互独立的存储系统简单的叠加在一个机柜中是完全不同的。

所以scale out方式使得存储系统升级工作大大简化,用户能够真正实现按需购买,降低TCO。

二、集群NAS的核心是集群/并行文件系统**

集群NAS 的 横向扩展(Scale-ou)是指可在文件系统级进 行 存储扩展,而集群 NAS 的核心工作都是 通过 集群文件系统或并行 文件系统完成。

集群文件系统是指协同多个节点提供高性能、高可用或负载均衡的文件系统,它是分布式文件系统的一个子集,消除了单点故障和性能瓶问题。对于客户端来说集群是透明的,它看到是一个单一的全局命名空间,用户文件访问请求被分散到所有集群上进行处理。在元数据管理方面,可以采用专用的服务器,也可以采用服务器集群,或者采用完全对等分布的无专用元数据服务器架构。目前典型的集群文件系统有SONAS, Isilon , IBRIX, NetAPP-GX, LoongStore, YeeStor 等。

并行文件系统是应用于多机环境的网络文件系统,单个文件的数据采用分条等形式存放于不同的存储设备上,支持多机多个进程的并发存取,同时支持元数据和数据的分布存放,并提供单一的名字空间。 通常SAN共享文件系统都是并行文件系统,如GPFS、 StorNext、BWFS,集群文件系统大多也是并行文件系统,如Lustre, Panasas等。

目前市场上的集群NAS产品,不管核心是集群文件系统还是并行文件系统,大多具有以下几个特点:

  1. 统一名字空间**

统一名字空间是指每一个文件和目录在文件系统中都有一个统一的、唯一的名字,在所有的应用服务器上,用户都可以用相同的名字来访问该文件或者目录而无需关心文件的实际存储位置和给其提供服务的元数据服务器的位置。当用户要访问的文件从一个存储位置迁徙到另一个新的位置以后,用户无需知道,他仍然可以继续用原来的名字来访问此文件或者目录。

统一名字空间主要涉及元数据的管理模型,目前大致有集中式元数据模型(如Lustre、GFS等)、分布式元数据模型(如Isilon、GPFS、Ceph等)和无元数据模型(Glusterfs)三种。

  1. 高扩展性**

前面已经说明,集群NAS具有横向扩展特性,容量和性能能够同时扩展。而且大多数产品都能够实现在线扩容,即在不停止服务的情况下向集群添加和删除节点或者磁盘,做到即插即用,且自带负载均衡机制。

  1. 高可用性**

集群NAS的集群架构特点,消除了单点故障,确保了系统的可用性。

在数据高可用方面,大多产品均提供跨节点的数据冗余备份,能够支持部分存储设备出现故障时,数据仍然可用。

  1. 性能优异**

对于大多数集群文件系统或并行文件系统而言,通常将元数据与数据两者独立开来,即控制流与数据流进行分离, 这种方式也称为元数据带外访问模式, 从而获得更高的系统扩展性和I/O并发性。

采用带外模式 能够 提高整体存储的访问效率,因为在文件访问中,对于元数据的查询占文件操作的60%以上,每次读取的数据少而且应对的访问压力大,这和数据读取的访问操作是不同的,因此带外模式便于提高系统性能。

另外,在性能提升上,有的产品采用高性能的硬件(如Panasas、3PAR)或者利用InifiniBand高速网络(如Isilon、YeeStor),大多数产品还会采用文件存储条带化、智能预取、数据缓存等软件机制来提升性能。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

19

添加新评论1 条评论

baimao3000baimao3000安全工程师江苏天宝
2020-04-08 23:19
多谢分享,好文!
Ctrl+Enter 发表

作者其他文章

X社区推广