浅谈软件定义闪存

云时代的环境中，技术的更新换代愈演愈烈，对基础架构的灵活性，扩展性，通用性要求越来越高，”软件定义”成为潮流，软件定义网络，软件定义存储等概念一时兴起，而在存储领域，伴随着对于数据安全性，存储和提取效率等指标的提升，软件定义闪存发展为时下热门概念。

1. 初识软件定义闪存

软件定义闪存（Software Defined Flash，以下简称SDF）的概念曾由PMC-Sierra公司提出，国内外新兴技术公司在此基础上发扬光大，这是一种基于控制器集群的全新闪存架构，软件及固件的运行基于闪存的SDD，它可以通过软件层面进行编码优化，实现闪存SSD的最佳应用模式，以发挥闪存的最大效益。

SDF是在SDS(软件定义存储，Software Defined Flash)基础上的进化产物，属于软件定义存储的新兴技术领域，但由于底层存储媒介，访问接口，应用场景等的特殊性，又使它不同于传统意义的SDS，它需要针对闪存SSD的IO特点进行深度定制和深度挖掘，以突破预期的可能瓶颈，实现读写的最大效能。SDF作为一套软硬件协同工作的系统，颠覆了传统磁盘阵列的性能瓶颈。

2. 当前软件定义闪存的需求探讨

2.1 传统架构的痛点

当前形势下，企业已经不能满足于传统存储受制的各类瓶颈和限制，即便作为专业存储厂商的高端存储，在海量数据和业务剧增的时代，也仍然面临各种问题，比如磁盘故障数据重建的时间和性能耗损，热点数据，性能调优，冗余控制器故障所带来的潜在单控风险，这些问题也促使一种新型的存储架构的诞生。

数据中心的机房环境中，双机环境冷备环境的大量存在，导致依然存在着大量使用率低的硬件，PC、小型机等基础设施资源堆积，浪费了大量的硬件采购成本，机器能耗费用，空间占用成本，不能做到物尽其用，在使用时又难以发挥其最大价值。数据中心建设和管理的成本越来越大，迫切需要一种对于IT基础设施的精细化管理方案。

**2.2 新型架构探索
**

新兴的业务特点对后台存储提出的要求不仅是要求容量极强的Scale-out能力，还要求数据访问速度的低延迟，大吞吐量和高IOPS，在数据的读写效率方面，企业已开始逐渐开始转而向SSD闪存获取性能，应运而生的性能数据自动分层技术(easy tier)，仅能够带来有限程度的性能提升，而全闪存阵列暂时的高昂价格，也让众多企业望而却步，即使有众多的成熟闪存方案，似乎仍然很难满足大型数据中心对于性价比的需求。

从产业的发展趋势来看，客户的IT基础架构环境也已经开始逐步走向云端，云环境直接带来了统一管理，可扩展性，自动化，无平台化等衍生需求，并且伴随着云环境中软件定义的基础架构登上历史舞台，必然要求存储跟上变革的步伐，传统存储与自动化集成的难度，灵活性，不能与灵活且高度自动化的云环境进行友好的融合。

大数据环境下的文件系统, HDFS, GFS等架构，已经完美呈现了大规模集群所带来的好处，集群优势越来越凸显，IT环境中节点的单机处理能力不再成为关注焦点，在应用平台，在基础架构领域，多节点的集群架构成为未来的发展方向，在分布式存储领域，VSAN，ScaleIO, Ceph也一度成为存储领域的焦点，数据镜像的自动重构，数据的自平衡和故障的强大自我修复能力，大大降低了传统存储对于硬盘/控制器故障的应急处理风险。

2.3 软件定义闪存的应运而生

从需要专门的硬件设备，例如存储控制器，引擎等设备来完成IO，到现在可以通过软件定义，让主机的CPU处理能力来参与大量的IO处理，在这个基础上，SDF结合闪存和集群优势，既充分利用和保留了闪存高速读写的特点，又充分发挥出集群多冗余和并发及线性扩展优势。SDF 作为一个软硬件协同的系统，完全颠覆了 SSD 的性能。从通用性上来说，SDF具备如下特点：

Ø 底层flash通道让用户态的软件可见，让软件来管理数据的布局，使得硬件的并行性能得到充分发挥。

Ø 基于层次到竖井等新的设计理念，实现了扁平的新文件系统和IO stack，提高了可扩展性并降低了延时。

Ø 与存储系统相结合，读写块的大小尽量保持与硬件友好。

Ø 资源全局利用，取消硬件通道间的异或校验，借助存储系统的数据多副本来能保证数据的可靠性。

类似架构，早在2011年就有国内互联网公司付诸实践。实践证明，SDF 的性能在达到传统商用 SSD的N倍的情况下，同时也能做到成本大大降低。软件定义闪存将软件定义和全闪存阵列的两大存储发展趋势完美结合在一起，构建了软件与固态闪存之间的良好亲和性，在目前的技术型公司和大型互联网企业中得到广泛应用，例如百度目前自主技术核心的大型SDF集群，为内部数据集群、搜索和网盘服务提供了稳定可靠的保障。同时，存储的Scale-out能力，在部分高速发展的业务系统上，成为重要的考量参数。随着架构越来越灵活的转变，SDF对于存储管理人员的技能要求反而越来越低，耗费的管理成本也越来越小，存储与计算能力的全融合架构，使计算平台既参与提供存储，又作为客户端，管理和协调变得相对简单。

3. 软件定义闪存的适用场景

在数据中心的管理中，SDF最大程度地减少管理成本和管理工作，以满足具有不可预测工作负载和/或动态工作负载的应用的性能需求。如果说类似VSAN等ServerSAN方案尚无法满足多数生产业务的性能需求，SDF在解决VSAN等ServerSAN方案的速度和性能瓶颈后，在各项参数上也有望达到企业级需求，并且可以用于企业中以下各种真实的业务场景。

Ø 快速迭代的业务环境

随着企业越来越多的参与市场活动，交互型系统显得越来越重要，当系统不再仅限于后台交易，越来越多的用户活动加入，业务迭代的速度也将越来越快，对于存储的灵活性要求越来越高，而且业务场景和压力也不可预知，对于存储的多个维度也提出了更高的要求。

Ø 涉及到大量存储的新分回收的环境

传统存储领域，由于涉及到光纤布线，交换机ZONE划分,存储卷映射等复杂步骤操作，存储的新分和回收流程相对复杂，且容易出现差错。SDF运用快速的部署和数据迁移能力，简化了存储的分配回收流程。

Ø 混合云存储环境

在基础设施云化的IT环境中，通用云管理平台缺乏管理异构存储平台的能力，要实现存储的虚拟化和自动化管理，要求实现存储与主机的融合，从性能，敏捷度和自动化管理层面，SDF为云环境提供企业的存储创造了可能。

Ø 大数据集群

如果大数据例如Map-Reduce等集群计算方案解决了计算能力瓶颈，SDF则为数据IO瓶颈开拓了新的疆域，Hadoop等大数据结合SDF相关技术，将大大加速基于持久化大数据的处理、运算和分析。

Ø 数据库集群环境（例如Mysql）

开源生态下的数据库环境，可以架设在SDF环境之上，并有望通过定制优化数据库代码，实现数据库集群的低成本和高效访问。

Ø 键值数据的分布式存储业务

对于推荐系统，搜索引擎等来说，分布式键值存储的意义越来越重要，对存储效率也提出了极高的要求。

Ø 灾难备份/恢复环境

目前部分厂商的软件定义存储产品已经逐渐开始兼容与传统存储的灾备连通，通过创建SDF与传统存储之间的容灾关系实现，借助存储虚拟化工具，可以实现数据级的灾备。同时也可以用来充当数据备份介质，实现数据的快速备份和恢复。

4. 软件定义闪存的风险和前景

4.1 SDF建设过程中面临的风险

目前大型数据中心主机的CPU资源相对充足，有足够的能力支撑运行这些应用，但同时也有可能与应用发生冲突，CPU计算资源的争抢，并同时伴随IO瓶颈出现，如果方案不够成熟，可能影响到正常业务的平衡快速运行。

多业务之间的相互并存可能导致数据安全和性能风险，即使类似ScaleIO等软件定义存储方案已经支持存储域的划分，但不同种类和级别的应用，位于同一个集群中共享存储资源，仍然不免给用户带来风险和担忧。同时，集群管理的存储虽然简化了管理流程，实现了主机和存储的无缝集成，同时也增加了集群的风险，当发生问题时，可能让更多的对象暴露在风险当中。

在部分适合SDF的业务从传统存储迁移的过程中，不仅涉及到数据的迁移，还涵盖技术架构的改变，比如从单机/HA环境向集群化规模架构的演变，实现计算资源和存储资源的同时线性扩展，该层面的全面解决方案尚待完善。

4.2 SDF的发展前景浅析

SDF减少了存储厂商的研发成本和企业硬件成本，升级主机硬件配置就能看到存储性能的增长，能实现性能、容量扩展的灵活配置，不仅门槛低，也降低了后顾之忧的风险，客户对于硬件有了更多自主选择的空间，这对于未来基础架构的发展是一个开放模式，在计算资源富余的情况下，考虑到SDF的各项优点，客户将乐于在未来开放的IT架构中，尝试这样的方式。

在SDF技术领域，IBM，EMC等大型企业设备厂商有强大的技术基因，目前已经有基于强大的全闪存阵列产品线，比如IBMV840, V9000，EMC Xtremio等全闪存阵列曾一度成为存储领域的明星产品，包括近期EMC重磅发布的DSSD全闪存阵列，各类产品的推广和宣传已经表明了存储厂商将重心向闪存阵列的转移，SDF将成为下一个新的技术突破点，在一段时间内，企业级的SDF方案仍然将由大存储厂商主导。

在未来，SDF可以侧重于与应用实现更好的融合，建设更完善的周边技术生态，例如容灾、监控、云部署和自动化集成等，满足了IT环境对于快速部署、敏捷性、自动化、线性扩展、性能、成本控制、资源高效利用和简化管理等维度的需求，SDF在日新月异的IT环境变化中将大有可为。