企业如何进行存储层整合及资源优化

1.企业传统架构存在的问题

一个企业的存储架构是经过了很长时间的发展才形成今天的局面。那么存储设备的多样化就是必然的一个问题。HP的存储、EMC的存储、IBM的存储；每一个厂家的存储可能又有好几代产品，产品与产品的差异性非常之大。这不仅会导致管理上的复杂性而且还会导致企业存储层整体架构的不协调性以及严重影响架构的灵活性及伸缩性。总结分析来看，目前企业传统存储架构会存在以下问题：

1）存储异构

2）存储分级无序

3）存储性能无法实现灵活扩展

4）存储高可用性不能实现高级别保护

5）数据容灾纷繁复杂缺乏统一性 

2.企业如何实现存储层的整合及优化

2.1 存储整合及优化目标

基于上节提出的企业传统存储架构下存在的问题以及弊端，那么整合及优化的目标具体如下：

Ø  存储平台必须保持其稳定性及健壮性。

架构的集中整合必然会导致故障面的扩大化。也就是说由于架构的一致性，一个平台的严重故障可能会导致业务的大面积瘫痪。所以平台整体的健壮性和稳定性至关重要。

Ø  消除异构统一存储架构。

存储整合之后必须能够消除存储异构以及分级的弊端，必须能够保证架构的统一性和一致性。从而将分散的个体组成一个有机的整体。

Ø  分级管理及性能平衡。

同样我们需要在整合后的平台上实现因地制宜，实现平衡发展。如果因为整合而失去了特殊性失去了分级分类管理功能，那么整合是失败的。不同的业务不同的场景必然要求区别对待，只不过这种区别是要靠系统性的整体性的管理，而不是传统模式下的各自独立管理。

Ø  提高数据容灾级别。

数据容灾在什么时候都不容忽视，传统模式下各个存储设备，各个业务系统有自己的容灾方式。存储整合之后，我们同样需要有存储层整体的容灾策略及方法。 

2.2 存储整合及优化原则

Ø  存储定义多样化与存储架构统一性相结合。

也就是说定义存储的方式可以是存粹的软件定义存储、也是可以传统SAN阵列的虚拟化、也可以是NAS架构的再定义，但是无论是哪一种存储定义方式都尽量使其能够通过统一的组织模式及公共接口实现架构的统一性。

Ø  存储平台整体性能平衡及特殊业务性能粒度细分的原则。

一方面我们要保证存储层能整体达到性能融合及平衡。另外呢，也要保证特殊IO特点的业务能在整体平衡的基础上实现自己的小粒度特殊化。

Ø  存储需求的静态分析与动态分析相结合。

我们在对存储整合过程中，不仅仅要参考既有业务负载及特点的数据，更重要的是要看业务的发展特点及速度。从而保证存储架构能够适应业务的既有负载和业务的快速扩张。通俗讲就是保证存储的横向伸缩性及灵活性能够适应业务需求。

Ø  数据容灾的手段多样化及策略的统一性。

虽然容灾的手段各个厂家有各个厂家的工具和方法，但是这些手段和方法之间缺乏一种有机的联系，缺少一种统一性。所以我们希望将容灾的策略能够实现统一性。

2.3 传统存储架构特点分析

接下来我们来看一下传统存储架构是什么样的？从下图图中我们可以看到，这种模式下的存储架构：

图2.3.1 传统存储架构

简单总结一下现有架构的弊端及缺陷，具体如下：

第一，管理多样化复杂化，各个厂家的存储管理方式不一样、各个类型的存储管理方式不一样，各个类型存储的架构不一致，等等。第二，资源利用各自为政，无法实现资源的统一调度及整体均衡。资源的再利用非常困难。第三，几乎没有扩展性，每一个存储设备只能靠扩容来实现容量的扩展，对于性能上的瓶颈，似乎只能通过存储设备控制器的配置增强来微调。第四，每一次数据的迁移都会是一个巨大工程。只能通过操作系统逻辑卷镜像或者是底层存储复制来实现数据迁移，无数的风险分析及预案需要做。

第五，性能问题严重受到存储设备的制约。当你发现某一个存储设备存在性能瓶颈，第一个能做的是给存储控制器扩点Cache、增加个把控制器。你永远无法做到让别的存储设备帮你分担一些性能上的压力，实现整体优化。

2.4 整合后的存储架构分析

那么进化后的软件定义存储又是什么样的呢？下图是整合后的存储架构，

图2.4.1 传统存储架构

 

首先是对整体框架的描述，虚线框住的部分是整个存储的服务层。最上层紫色的部分是计算资源层，最下层绿色部分及两边的部分是物理存储层。物理存储层包括各个厂家的物理存储设备，也包括各种类型的存储，包括NAS以及服务器的本地磁盘。

接着详细对存储提供层进行描述，存储提供层包括三个逻辑部分，最下层是整合层，这一层实现了异构存储空间的整合。它将物理存储整合为一个大的物理存储资源池。里面既包括SAN协议的接口也包括LAN协议的接口。资源池及其他逻辑对象的构建在改层实现。中间层是具体的存储服务实例，它们可以提供分布式存储服务，包括分布式IO服务以及数据迁移、数据复制等等。这种分布式的服务实例模式也保证了存储服务的高可用性，这种高可用完全跨越了物理存储设备。服务实例和下层的整合层协同实现存储的分层及分级管理，从而保证存储层整体性能的平衡。服务实例整体根据业务类型的差异可以提供不同类型的存储服务，包括对象存储服务、块儿存储服务以及文件存储服务等。

总结一下以上整合架构，

第一、SAN存储实现了异构整合，传统SAN存储的软件功能上移到存储整合层。比如说存储的自动分层功能，快照功能，数据横向复制功能，闪存的融合功能等等。

第二、纯软件定义存储整合，狭义上讲的纯软件定义存储也就是通过软件将本地磁盘、NAS、其他类似简单存储通过网络协议等整合成为虚拟存储卷。在整个存储整合平台上，这一部分整合后的存储也应该融入整个存储资源池。

第三、其他存储整合，包括NAS、DAS等一系列非SAN阵列存储的整合。

第四、资源极限池化，所谓的极限池化就是指资源跨物理设备的池化，跨存储类型的池化；另外一方面，所有的存储软件功能能够在资源池上来实现。

2.5 存储资源整体优化思路

(1) 整体架构前端性能优化思路

首先，从存储服务实例这个逻辑层来看，我们需要明确我们的全部业务负载有多大。如果这个负载超过或者等于平台服务实例所能提供的最大负载承受能力，那这显然是不合理的。再一个，我们需要考虑一个负载最大的单个业务，它最终的复制分担是落到了多少个服务实例上，如果是单个服务实例，那么这个服务实例的极限承受能力是否能够达标。同时我们还需要平衡整个平台上所有服务实例的负载，达到整体协调平衡状态，不能出现失衡状态，更不能出现部分实例的故障而导致整个服务层的瘫痪，这就要求服务实例的负载要能和高可用策略协调一致。

接着，从存储整合底层来看，数据读写实现跨设备级横向扩展，存储空间实现横向拉伸。但是需要避免出现横向拉伸中的性能短板效应出现。存储整合层数据横向实现科学合理迁移、迁移策略既能实现性能的时间维度平衡，同时不能产生对纵向IO的影响。

其次，从前段的网络环境来看，交换设备本身不能成为系统环境的性能瓶颈（通道宽度、交换缓存、链路使用策略）。环境架构实现扁平化，减少IO实际深度以及带来的延时。

(2) 整体架构后端性能优化思路

首选，以闪存的超高速读写性能来提升热点数据性能，以整体分层策略来平衡存储池整体存储效率。

将闪存单独抽离作为存储池的缓存，以解决底层物理设备存储性能的多样化差异。 

接着，对业务读写特点及需求进行细分，科学正确配置存储池策略，保证高需求业务利用高端物理设备，读写敏感性低的业务尽量横向扩展。以性能和高可用的最佳平衡点为指导设置存储虚拟层的落盘策略。 

再有，底层SAN环境及LAN环境实现扁平架构，避免交换设备的过多级联，减少数据落盘的延时影响。

结合分布式存储软件利用低端存储设备，支撑分析类业务。

3.典型存储拉伸集群模式分析

3.1 接管模式的存储拉伸集群

所谓接管式的存储拉伸集群，如图所示，两个节点组成一个组（拉伸的集群），组内主节点对VDISK提供IO服务。VDISK的两个物理镜像位于两个中心的存储。VDISK不能被其他组接管。正常情况下，一个主节点在工作，首先将缓存同步到另外一个节点上，然后通过拉伸了的SAN环境将数据同时写入两个数据中心的存储节点；主节点发生故障时，备中心的节点会接管主节点的读写；档存储节点发生故障时，那么数据写入变成单边写入，并不影响业务。

图3.1.1 接管模式存储拉伸集群

部署这种模式的存储集群，我们需要注意以下几点：

Ø  科学计算业务负载并以此衡量架构横向吞吐能力及横向扩展能力；

Ø  合理平衡VDISK和IO GROUP的映射关系，保证节点负载均衡；

Ø  根据业务需求设置IO写策略（性能优先&数据优先）；

Ø  利用FLASH COPY分担数据读请求压力；

Ø  利用Metro和Global合理实现数据容灾；

Ø  两端的存储设备性能差异不要悬殊，以保证IO落盘没有短板效应放大带来的性能影响。 

3.2 并写模式的存储拉伸集群

所谓并写模式的存储拉伸集群，如图所示，两个节点组成一个拉伸集群，每一个节点有两个引擎，每个引擎有两个控制器。共同为所有VDISK提供IO服务。两个节点同时读写，会有数据竞争及数据同步。正常情况下，两个节点都在工作，他们通过缓存的同步、锁的同步等完成数据的一致性写，主节点发生故障时，备中心的节点负担所有IO写入工作，主中心的存储节点也处于不工作状态；当存储节点发生故障时，主中心节点负担的写工作会最终通过备中心的节点写入备中心的存储，业务不会受到影响。

图3.2.1 并写模式存储拉伸集群

部署这种模式的存储集群，我们需要注意以下几点：

Ø  尽量避免应用层再次出现强烈数据热点问题；

Ø  严格保证节点之间的通道带宽及延时符合产品要求；

Ø  虚拟化层本身不具备存储分层及FLASHCOPY等功能，需要借助存储设备本身的功能来实现，因此存储层的Storage Group需要小粒度细分。

Ø  两边的存储设备需要严格保证其配置的一致性，否则会加倍放大性能影响。

4.总结及展望

本文基于当前企业传统存储架构的一些弊端及缺陷进行分析及总结，并由此基础上研究行业内进行存储整合的一些工具及方法，提出对软件定义存储整合及优化的方法及思路，希望能为即将启动或者正在进行此项工作的企业及同行提供一些启示。当然随着存储技术的发展进化，更多更好更优秀的整合思路及方法会代替当前的一些技术、方法及思路。本人也希望有更多的同行能够进行此方面的探讨，共同为我们的IT发展提供绵薄之力。