【摘要】

本文结合我行实际实施经验，介绍了生产环境中基于华为OceanStor Dorado 5300系列中端全闪存储国产化替代实施方案。对于存储设备的选型、生产实施方案、存储设备的高可用、可靠性等方面的测试等做了详细介绍，并给出了实际性能测试的表现，希望可以作为同行存储选型的具体参考。

1、概述

（1）背景

作为生产与海量数据存放的重要媒介， 存储在数据中心建设中的数据高效可靠承载、信息安全保障等方面具有重要地位。 同时存储安全也是信息安全的一个重要因素。 在国产化道路上，存储与CPU、操作系统同等重要。因此，在实施了CPU与操作系统的国产化替代之后，加速存储的国产化替代，尤其是 加速自主可控全闪存存储 在国产党政办公系统中应用，是国家信息安全战略有序推进的重要保障。 本项目拟调研存储国产化产业现状和存储技术最新进展，并在此基础上开展关键技术及应用研究，推动国产集中存储产品的可行性论证和应用落地，实现数据存储与传输全链路全面国产化，软硬件全技术栈的“安全可靠”要求，同时优化数据中心存储资源布局，保障生产平稳运行。

（2） 目标

本次存储替换实施是将使用国产存储产品以及存储网络IP化的技术研究的基础上，在完成测试环境下对存储和网络相关的功能、性能、可靠性进行系统测试后,观察其系统的表现，以此发现被测版本在对接各家存储后端下的存储常规功能、平台存储极限性能、平台业务性能、存储可靠性等方面可能存在的问题,为存储国产化替代提供指导性的参考，以确保该系统在对接各家存储后端下的稳定性，满足生产业务实际的需要。

2、 金融业对存储的要求

（1）高性能

随着业务的发展，银行业对IT基础设施的要求越来越高，存储设备有着举足轻重的作用。现阶段，业务的数据都是信息化的方式存放在存储中的，因此存储设备的性能等特征成为大家重点关注的对象。通常向客户提供金融服务的系统为交易类业务系统，包括核心系统在内，一般银行包括很多交易类系统比如手机银行，网上银行等。各个系统有独立的功能，但对客的一笔交易通常又可能涉及多个系统。因此交易链路上的每个系统都要求具有很高的稳定性及安全性，因此要求我们系统同样需要稳定安全的基础设施。基于交易系统产生的海量数据，银行同样需要大量的内部经营分析及管理类系统，基于海量数据的分析要求我们的系统要有非常强大的批处理能力，要求我们存储要有较大的吞吐能力。

（2） 稳定性

不管是交易类还是管理类业务系统，大量应用节点包括WEB服务器、业务交易的APP服务器及数据库服务器等数据均大量使用存储作为存储介质。基于存储的数据访问的特点是数据量大，同时可压缩量也大，可压缩的空间大。对IO的性能要求较高，通常时延在10毫秒内可满足要求，当然数据库要求会更高。因此，业务系统对存储的稳定性有很高的要求。

（3） 可扩展性

基于业务发展及数据存储需求的增长，要求存储能有可扩展能力。确保存储产品可在线实施扩容，满足需求不足时需求，同时扩容操作要保证存储维持原有高性能的基础上实现。

（4） 高可靠性

对部件失效和设备断电均有保护措施，同时在降低硬盘故障和数据丢失风险方面也有相应的保护措施，保障系统的高可靠性。同时要求存储系统提供多种高级数据保护技术，即使在毁灭性的灾难下，也能够保障数据安全，从而使业务正常持续运行。

（5） 管理高效便捷

提供重复数据删除和压缩技术，保证在使用过程中的经济性，高效率使用存储空间。提供简单易用的管理维护工具，方便运维管理。

提供智能运维系统，能方便快捷获取存储的运行状态信息。准确识别故障，降低运维难度，全面提升运维效率。存储厂商需要有较强的售后能力，包括服务能力、专业技术能力、排障及方案设计等能力因素。

（6） 灾备扩展能力

信息系统容灾存储端是重要的基础。存储架构的设计需满足业务系统特点、监管及行内制定的RPO及RTO指标。业务多采用两地三中心架构，数据在三个数据中心至少保留有3副本，有点为了满足生产中心业务的高可用，甚至会采取保留4副本的方式。一般建设思路采取“大同城，小异地”的策略建设，以1:1资源配置、双活应用架构方式建设同城灾备中心，保证主中心灾难时同城中心课快速接管业务；以小部分资源部署、数据异步方式建设异地灾备中心，保证在出现区域性灾难时，数据不丢失及小部分关键业务持续运行。

3、华为中端存储的架构及性能

本次实施本次项目实施包含两台华为存储，分别是一台华为 O cean S tor Dorado 5300、一台华为 OceanStor 5310 。华为OceanStor系列存储采用全新的硬件结构，基于全闪存深度优化的软件架构，结合多种高级数据应用和数据保护技术，使存储系统具有高性能、高稳定性、高可扩展性、高可靠性和高可用性等特点，满足大中型企业对存储产品的各种要求。

主要组件包含华为自研的存储管理操作系统OceanStor OS，存储终端维护软件SmartKit、eService等。通过OceanStor OS， 实现硬件管理和支撑存储业务软件的运行 ， 存储系统通过基本功能控制软件实现基础的数据存储和读写功能；通过增值功能控制软件实现各种备份、容灾和性能调优等高级功能；通过管理功能控制软件实现对存储系统的管理功能 。

通过终端维护软件，则可以实现设备的部署、维护和升级及存储系统的远程维护管理软件，用于设备监控、告警上报和设备巡检等。存储的基础架构如下图所示：

华为OceanStor Dorado 5300系列存储是中端全闪存存储产品，为客户提供卓越的数据服务体验。凭借创新硬件平台、FlashLink智能算法加持和端到端NVMe架构，性能相比上一代提升30%，0.05ms极致时延；采用稳定的可靠的设计，保障核心业务持续在线。华为存储创新硬件平台实现端到端数据加速，根据官方的产品文档，性能相比上一代提升30%。

4、存储的实施

本次实施本次项目实施包含两台华为存储，分别是一台 华为OceanStor Dorado 5300 、一台华为OceanStor 5310 ，以及两台光纤交换机，相关设备配置清单如下：

a. 华为OceanStor Dorado 5300

b. 华为OceanStor 5310

本次实施采用基础功能验证组网，并通过IBM SVC完成组网的验证。基础架构图如下：

（1） 端口划分

存储A/B两个控制器，各使用两个FC端口，相同控制器上的FC端口，接入不同的光纤交换机，实现FC链路冗余，提供SAN流量。

各使用两个10GB端口，相同控制器上的IP端口，接入同一台网络交换机，通过创建逻辑端口，实现跨存储控制器IP链路冗余，提供NAS业务流量。

（2） 华为OceanStor Dorado 5300资源及文件系统划分

本次实施，使用控制框中全部的16块SSD磁盘，创建一个存储池。并根据业务需要，创建一个8TB的文件系统，并通过NFS协议进行共享，为业务系统提供共享存储空间。

根据业务需要，创建一个8TB的文件系统，并通过NFS协议进行共享，为业务系统提供共享存储空间。

（3） 华为OceanStor5310资源划分

本次实施Ocean S tor 5310v5共有24块3.84TB SSD磁盘，20块10TB NL_SAS磁盘，所有磁盘添加至同一个硬盘域中。

根据业务需要，将硬盘域中全部SSD磁盘单独划分成一个高性能存储池，将全部NL_SAS磁盘单独划分成一个大容量存储池。

根据业务需要，在SSD高性能存储池中，划分30个2TB大小的LUN，不启动SmartThin功能，并添加至同一LUN组。

（4） 主机及LUN映射

华为OceanStor 5310通过光纤交换机配置，连接IBM存储网关SVC，通过绑定SVC FC端口的WWPN，创建主机及主机组。

通过新建映射视图，将LUN组中的LUN映射给主机组中的IBM SVC，为业务系统提供存储空间。

5、 存储的测试

为确保存储能满足业务需求，对存储的基础功能及性能作了充分的验证测试，从可能的故障点，性能及可靠性三个层面进行了33项子模块测试。所有子模块测试结果均表明存储性能符合预期，满足业务实际需求。以下分开说明各个模块做的测试需求点。

（1） 功能测试需求点

Ø 存储配置信息查询，完成存储配置查询验证

Ø 存储基本功能验证， 验证存储创建RAID组或存储池/LUN,映射/回收LUN

Ø 图形管理界面， 验证图形界面告警监控/管理

Ø 性能统计功能， 验证存储性能统计功能

Ø 命令行查询存储资源，过存储命令行查询存储Pool/RAID/LUN等基本信息

Ø 用户管理功能的测试， 测试盘机的用户管理功能

Ø 日志测试， 搜集日志，观察收集是否便捷，展现是否清晰

Ø LUN控制器间的均衡， 验证 存 储 系统为AA架构，支持控制器 负载均衡 ， 在任意LUN数量的情况下 ， 控制器负载均衡

Ø 自研多路劲测试， 验证 存储系统 是否有存储厂商自研的多路径软件，非操作系统自带 。

Ø 基本快照功能， 验证快照 基本 功能

Ø 数据压缩， 验证存储系统是否支持数据压缩功能

Ø 瘦供给功能， 验证存储自动精简配置功能

Ø 数据去重， 验证存储系统是否支持重复删除功能

Ø 本地克隆功能， 检验被测设备是否支持 克隆 功能 ，副本立即可用，支持增量同步，反向同步

Ø SAN服务质量控制，验证 存储系统是否支持服务质量控制(QoS) ，

Ø LUN在线迁移， 验证被测设备软件是否具备LUN在线迁移功能

Ø 高密性能无损快照， 验证 存储支持 高密定时快照功能， 以及 高密快照对性能的影响

（2） 性能测试需求点

Ø 小块4K随机写场景，验证存储系统4k随机写性能

Ø 小块4K随机读场景，验证存储系统4k随机读性能

Ø 大块512K顺序写场景，验证存储系统512k顺序写性能

Ø 大块512K顺序读场景，验证存储系统512k顺序读性能

Ø 混合读写场景（8k读写比7:3），验证存储系统8k混合读写性能（读写比7:3）

（3） 可靠性测试需求点

Ø 电源模块故障，验证热插拔单个电源模块的功能

Ø 电池模块故障，验证热插拔单个电池模块的功能

Ø 控制器模块故障，验证控制器故障自动接管和恢复功能

Ø FC卡故障，验证FC插卡故障切换

Ø RoCE卡故障，验证RoCE卡故障切换

Ø 磁盘故障恢复，验证配置磁盘故障重建功能

Ø 服务器HBA卡故障，验证服务器HBA卡故障切换验证

Ø RAID TP三盘同时故障恢复，验证存储支持同时任意三盘失效不影响业务和数据

Ø 双活负载均衡验证，验证存储双活系统对于单个LUN，主机业务可以在两站点间实现业务负载均衡

Ø 双活单台存储故障恢复，验证存储双活系统在单台存储掉电故障时不影响业务

Ø 双活存储间复制链路故障恢复，验证存储双活系统在存储间复制链路故障时不影响业务

（4） 测试结果

功能及可靠性测试方面存储均能满足业务场景的需求，因性能是存储具体选型落地过程重要参考依据，以下就给出部分性能测试的结果，供有存储选型需求的朋友参考。

1、小块4K随机写场景

1) 使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2) 配置 FIO 工具测试脚本：

a、I/O size为4k；

b、100%随机 写 ；

c 、预热1分钟，测试执行 1 0分钟；

执行测试，记录IOPS以及平均读写延迟。

2、小块4K随机读场景

1) 使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2) 配置 FIO 工具测试脚本：

a、I/O size为4k；

b、100%随机读；

c、预热1分钟，测试执行 1 0分钟；

执行测试，记录IOPS以及平均读写延迟。

3、 512k顺序写性能

1) 使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2) 配置 FIO 工具测试脚本：

a、I/O size为512k；

b、100%顺序写；

c、预热1分钟，测试执行 1 0分钟；

执行测试，记录吞吐量以及平均读写延迟。

4、512k顺序读性能

1) 使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2) 配置 FIO 工具测试脚本：

a、 I/O size为512k；

b、100%顺序读；

c、预热1分钟，测试执行 1 0分钟；

执行测试，记录吞吐量以及平均读写延迟。

5、 混合读写场景（8k读写比7:3）

1) 使用 FIO 工具，配置1024k I/O，全顺序模型将测试LUN覆盖写一遍；

2) 配置 FIO 工具测试脚本：

a、I/O size为8k；

b、读写比例 7 ： 3 混合读写；

c、预热1分钟，测试执行 1 0分钟；

执行测试，记录IOPS以及平均读写延迟。

性能测试结果如下：

6、 测试总结

本次存储测试使用华为 Ocean Stor Dorado 5 3 00全闪存存储产品,在 对接国产服务器的 测试场景下，对存储系统的功能、性能 和 可靠性进行了充分测试, 测试 结果均符合预期，满足业务需求。

6、 总结

本文结合我行实际经验实施经验，介绍了华为OceanStor Dorado 5300系列中端全闪存储国产化替代实施方案，并基于银行业应用的特点，结合具体的场景及对存储功能的需求，对关键点、实施及运维的重点进行了分析与运用。在华为存储的落地实施中，既让国产化替代的规划得到实践，又以新产品新技术的角度提高业务系统的自主可控能力。本次实践充分考虑了未来扩展的需求，包括灾备能力的需求，对我行未来信息化建设过程的实践起到很好的指导作用。存储上线至今，已稳定运行近半年，承接了数个业务系统的存储需求。期待未来我们国产厂商能够更加精进中高端的存储产品，为我们自主可控战略提供更有利的支撑。