czjing
作者czjing2023-05-06 15:33
系统运维工程师, 运维

城商行生产环境基于华为全闪存储国产化替代实践经验

字数 7145阅读 3550评论 2赞 3

【摘要】

本文结合我行实际实施经验,介绍了生产环境中基于华为OceanStor Dorado 5300系列中端全闪存储国产化替代实施方案。对于存储设备的选型、生产实施方案、存储设备的高可用、可靠性等方面的测试等做了详细介绍,并给出了实际性能测试的表现,希望可以作为同行存储选型的具体参考。

1、概述

(1)背景

作为生产与海量数据存放的重要媒介, 存储在数据中心建设中的数据高效可靠承载、信息安全保障等方面具有重要地位。 同时存储安全也是信息安全的一个重要因素。 在国产化道路上,存储与CPU、操作系统同等重要。因此,在实施了CPU与操作系统的国产化替代之后,加速存储的国产化替代,尤其是 加速自主可控全闪存存储 在国产党政办公系统中应用,是国家信息安全战略有序推进的重要保障。 本项目拟调研存储国产化产业现状和存储技术最新进展,并在此基础上开展关键技术及应用研究,推动国产集中存储产品的可行性论证和应用落地,实现数据存储与传输全链路全面国产化,软硬件全技术栈的“安全可靠”要求,同时优化数据中心存储资源布局,保障生产平稳运行。

(2) 目标

本次存储替换实施是将使用国产存储产品以及存储网络IP化的技术研究的基础上,在完成测试环境下对存储和网络相关的功能、性能、可靠性进行系统测试后,观察其系统的表现,以此发现被测版本在对接各家存储后端下的存储常规功能、平台存储极限性能、平台业务性能、存储可靠性等方面可能存在的问题,为存储国产化替代提供指导性的参考,以确保该系统在对接各家存储后端下的稳定性,满足生产业务实际的需要。

2、 金融业对存储的要求

(1)高性能

随着业务的发展,银行业对IT基础设施的要求越来越高,存储设备有着举足轻重的作用。现阶段,业务的数据都是信息化的方式存放在存储中的,因此存储设备的性能等特征成为大家重点关注的对象。通常向客户提供金融服务的系统为交易类业务系统,包括核心系统在内,一般银行包括很多交易类系统比如手机银行,网上银行等。各个系统有独立的功能,但对客的一笔交易通常又可能涉及多个系统。因此交易链路上的每个系统都要求具有很高的稳定性及安全性,因此要求我们系统同样需要稳定安全的基础设施。基于交易系统产生的海量数据,银行同样需要大量的内部经营分析及管理类系统,基于海量数据的分析要求我们的系统要有非常强大的批处理能力,要求我们存储要有较大的吞吐能力。

(2) 稳定性

不管是交易类还是管理类业务系统,大量应用节点包括WEB服务器、业务交易的APP服务器及数据库服务器等数据均大量使用存储作为存储介质。基于存储的数据访问的特点是数据量大,同时可压缩量也大,可压缩的空间大。对IO的性能要求较高,通常时延在10毫秒内可满足要求,当然数据库要求会更高。因此,业务系统对存储的稳定性有很高的要求。

(3) 可扩展性

基于业务发展及数据存储需求的增长,要求存储能有可扩展能力。确保存储产品可在线实施扩容,满足需求不足时需求,同时扩容操作要保证存储维持原有高性能的基础上实现。

(4) 高可靠性

对部件失效和设备断电均有保护措施,同时在降低硬盘故障和数据丢失风险方面也有相应的保护措施,保障系统的高可靠性。同时要求存储系统提供多种高级数据保护技术,即使在毁灭性的灾难下,也能够保障数据安全,从而使业务正常持续运行。

(5) 管理高效便捷

提供重复数据删除和压缩技术,保证在使用过程中的经济性,高效率使用存储空间。提供简单易用的管理维护工具,方便运维管理。

提供智能运维系统,能方便快捷获取存储的运行状态信息。准确识别故障,降低运维难度,全面提升运维效率。存储厂商需要有较强的售后能力,包括服务能力、专业技术能力、排障及方案设计等能力因素。

(6) 灾备扩展能力

信息系统容灾存储端是重要的基础。存储架构的设计需满足业务系统特点、监管及行内制定的RPO及RTO指标。业务多采用两地三中心架构,数据在三个数据中心至少保留有3副本,有点为了满足生产中心业务的高可用,甚至会采取保留4副本的方式。一般建设思路采取“大同城,小异地”的策略建设,以1:1资源配置、双活应用架构方式建设同城灾备中心,保证主中心灾难时同城中心课快速接管业务;以小部分资源部署、数据异步方式建设异地灾备中心,保证在出现区域性灾难时,数据不丢失及小部分关键业务持续运行。

3、华为中端存储的架构及性能

本次实施本次项目实施包含两台华为存储,分别是一台华为 O cean S tor Dorado 5300、一台华为 OceanStor 5310 。华为OceanStor系列存储采用全新的硬件结构,基于全闪存深度优化的软件架构,结合多种高级数据应用和数据保护技术,使存储系统具有高性能、高稳定性、高可扩展性、高可靠性和高可用性等特点,满足大中型企业对存储产品的各种要求。

主要组件包含华为自研的存储管理操作系统OceanStor OS,存储终端维护软件SmartKit、eService等。通过OceanStor OS, 实现硬件管理和支撑存储业务软件的运行 , 存储系统通过基本功能控制软件实现基础的数据存储和读写功能;通过增值功能控制软件实现各种备份、容灾和性能调优等高级功能;通过管理功能控制软件实现对存储系统的管理功能 。

通过终端维护软件,则可以实现设备的部署、维护和升级及存储系统的远程维护管理软件,用于设备监控、告警上报和设备巡检等。存储的基础架构如下图所示:

华为OceanStor Dorado 5300系列存储是中端全闪存存储产品,为客户提供卓越的数据服务体验。凭借创新硬件平台、FlashLink智能算法加持和端到端NVMe架构,性能相比上一代提升30%,0.05ms极致时延;采用稳定的可靠的设计,保障核心业务持续在线。华为存储创新硬件平台实现端到端数据加速,根据官方的产品文档,性能相比上一代提升30%。

4、存储的实施

本次实施本次项目实施包含两台华为存储,分别是一台 华为OceanStor Dorado 5300 、一台华为OceanStor 5310 ,以及两台光纤交换机,相关设备配置清单如下:

a. 华为OceanStor Dorado 5300

序号配置数量
1OceanStor Dorado 5300 V(2U,双控,SAS,交流\240V高压直流,256GB 缓存,81Gb ETH,810Gb ETH(含多模SFP+),4(412Gb) SAS,25*2.5英寸,SPE36C0225)1
24端口 SmartIO I/O模块(SFP+,16Gb FC)2
34端口 SmartIO I/O模块(SFP28,25Gb ETH)2
43.84TB SSD SAS硬盘单元(2.5")16
5光跳线-DLC/PC-DLC/PC-多模-15m-A1a.2-2mm-42mm DLC-OM3弯曲不敏感24

b. 华为OceanStor 5310

序号配置数量
15310 V5(2U,双控,SAS,交流\240V高压直流,256GB 缓存,81Gb ETH,810Gb ETH(含多模SFP+),4(412Gb) SAS,25*2.5英寸,SPE36C0225)1
24端口 SmartIO I/O模块(SFP+,16Gb FC)2
34端口 SmartIO I/O模块(SFP28,25Gb ETH)2
43.84TB SSD SAS硬盘单元(2.5")24
510TB 7.2K RPM NL SAS硬盘单元(3.5")20
6SAS硬盘框(4U,交流\240V高压直流,3.5",级联模块,24盘位,不包含硬盘单元,DAE62435U4)1
7光跳线-DLC/PC-DLC/PC-多模-15m-A1a.2-2mm-42mm DLC-OM3弯曲不敏感24
8高速电缆-48G Mini SAS HD Cable-3m-(SFF 8644 Plug)-(28AWG4P2黑(S))-(SFF 8644 Plug)-室内用,SAS 3.02

本次实施采用基础功能验证组网,并通过IBM SVC完成组网的验证。基础架构图如下:

(1) 端口划分

存储A/B两个控制器,各使用两个FC端口,相同控制器上的FC端口,接入不同的光纤交换机,实现FC链路冗余,提供SAN流量。

各使用两个10GB端口,相同控制器上的IP端口,接入同一台网络交换机,通过创建逻辑端口,实现跨存储控制器IP链路冗余,提供NAS业务流量。

设备名称FC端口光交连接端口10GB端口网络交换机逻辑端口
Oceanstor Dorado5300v6A-P0交换机1A-P2利旧1/13logic01
A-P1交换机2B-P2利旧2/13
B-P0交换机1A-P4利旧1/14logic02
B-P1交换机2B-P4利旧2/14

(2) 华为OceanStor Dorado 5300资源及文件系统划分

本次实施,使用控制框中全部的16块SSD磁盘,创建一个存储池。并根据业务需要,创建一个8TB的文件系统,并通过NFS协议进行共享,为业务系统提供共享存储空间。

存储池名称磁盘容量磁盘类型数量RAID类型存储池容量
dev-ssd-pool013.84TBSSD16RAID6/10D+2P50TB

根据业务需要,创建一个8TB的文件系统,并通过NFS协议进行共享,为业务系统提供共享存储空间。

文件系统名称容量共享主机权限存储池
Filesystem0018TB业务主机读写dev-ssd-pool01

(3) 华为OceanStor5310资源划分

本次实施Ocean S tor 5310v5共有24块3.84TB SSD磁盘,20块10TB NL_SAS磁盘,所有磁盘添加至同一个硬盘域中。

硬盘域名称磁盘容量磁盘类型数量热备空间可用空间
DiskDomain0013.84TBSSD2490TB
10TBNL_SAS20200TB

根据业务需要,将硬盘域中全部SSD磁盘单独划分成一个高性能存储池,将全部NL_SAS磁盘单独划分成一个大容量存储池。

存储池名称用途RAID类型存储池容量热备空间
dev-ssd-pool01块存储服务RAID6/8D+2P60TB
dev-NL_SAS-pool01块存储服务RAID6/8D+2P135TB

根据业务需要,在SSD高性能存储池中,划分30个2TB大小的LUN,不启动SmartThin功能,并添加至同一LUN组。

(4) 主机及LUN映射

华为OceanStor 5310通过光纤交换机配置,连接IBM存储网关SVC,通过绑定SVC FC端口的WWPN,创建主机及主机组。

通过新建映射视图,将LUN组中的LUN映射给主机组中的IBM SVC,为业务系统提供存储空间。

映射视图名称LUN组名称主机组名称
SSD_SVCSSD_Group01IBM_SVC_Group

5、 存储的测试

为确保存储能满足业务需求,对存储的基础功能及性能作了充分的验证测试,从可能的故障点,性能及可靠性三个层面进行了33项子模块测试。所有子模块测试结果均表明存储性能符合预期,满足业务实际需求。以下分开说明各个模块做的测试需求点。

(1) 功能测试需求点

Ø 存储配置信息查询,完成存储配置查询验证

Ø 存储基本功能验证, 验证存储创建RAID组或存储池/LUN,映射/回收LUN

Ø 图形管理界面, 验证图形界面告警监控/管理

Ø 性能统计功能, 验证存储性能统计功能

Ø 命令行查询存储资源,过存储命令行查询存储Pool/RAID/LUN等基本信息

Ø 用户管理功能的测试, 测试盘机的用户管理功能

Ø 日志测试, 搜集日志,观察收集是否便捷,展现是否清晰

Ø LUN控制器间的均衡, 验证 存 储 系统为AA架构,支持控制器 负载均衡 , 在任意LUN数量的情况下 , 控制器负载均衡

Ø 自研多路劲测试, 验证 存储系统 是否有存储厂商自研的多路径软件,非操作系统自带 。

Ø 基本快照功能, 验证快照 基本 功能

Ø 数据压缩, 验证存储系统是否支持数据压缩功能

Ø 瘦供给功能, 验证存储自动精简配置功能

Ø 数据去重, 验证存储系统是否支持重复删除功能

Ø 本地克隆功能, 检验被测设备是否支持 克隆 功能 ,副本立即可用,支持增量同步,反向同步

Ø SAN服务质量控制,验证 存储系统是否支持服务质量控制(QoS) ,

Ø LUN在线迁移, 验证被测设备软件是否具备LUN在线迁移功能

Ø 高密性能无损快照, 验证 存储支持 高密定时快照功能, 以及 高密快照对性能的影响

(2) 性能测试需求点

Ø 小块4K随机写场景,验证存储系统4k随机写性能

Ø 小块4K随机读场景,验证存储系统4k随机读性能

Ø 大块512K顺序写场景,验证存储系统512k顺序写性能

Ø 大块512K顺序读场景,验证存储系统512k顺序读性能

Ø 混合读写场景(8k读写比7:3),验证存储系统8k混合读写性能(读写比7:3)

(3) 可靠性测试需求点

Ø 电源模块故障,验证热插拔单个电源模块的功能

Ø 电池模块故障,验证热插拔单个电池模块的功能

Ø 控制器模块故障,验证控制器故障自动接管和恢复功能

Ø FC卡故障,验证FC插卡故障切换

Ø RoCE卡故障,验证RoCE卡故障切换

Ø 磁盘故障恢复,验证配置磁盘故障重建功能

Ø 服务器HBA卡故障,验证服务器HBA卡故障切换验证

Ø RAID TP三盘同时故障恢复,验证存储支持同时任意三盘失效不影响业务和数据

Ø 双活负载均衡验证,验证存储双活系统对于单个LUN,主机业务可以在两站点间实现业务负载均衡

Ø 双活单台存储故障恢复,验证存储双活系统在单台存储掉电故障时不影响业务

Ø 双活存储间复制链路故障恢复,验证存储双活系统在存储间复制链路故障时不影响业务

(4) 测试结果

功能及可靠性测试方面存储均能满足业务场景的需求,因性能是存储具体选型落地过程重要参考依据,以下就给出部分性能测试的结果,供有存储选型需求的朋友参考。

1、小块4K随机写场景

1) 使用 FIO 工具,配置1024k I/O,全顺序模型将测试LUN覆盖写一遍;

2) 配置 FIO 工具测试脚本:

a、I/O size为4k;

b、100%随机 写 ;

c 、预热1分钟,测试执行 1 0分钟;

执行测试,记录IOPS以及平均读写延迟。

2、小块4K随机读场景

1) 使用 FIO 工具,配置1024k I/O,全顺序模型将测试LUN覆盖写一遍;

2) 配置 FIO 工具测试脚本:

a、I/O size为4k;

b、100%随机读;

c、预热1分钟,测试执行 1 0分钟;

执行测试,记录IOPS以及平均读写延迟。

3、 512k顺序写性能

1) 使用 FIO 工具,配置1024k I/O,全顺序模型将测试LUN覆盖写一遍;

2) 配置 FIO 工具测试脚本:

a、I/O size为512k;

b、100%顺序写;

c、预热1分钟,测试执行 1 0分钟;

执行测试,记录吞吐量以及平均读写延迟。

4、512k顺序读性能

1) 使用 FIO 工具,配置1024k I/O,全顺序模型将测试LUN覆盖写一遍;

2) 配置 FIO 工具测试脚本:

a、 I/O size为512k;

b、100%顺序读;

c、预热1分钟,测试执行 1 0分钟;

执行测试,记录吞吐量以及平均读写延迟。

5、 混合读写场景(8k读写比7:3)

1) 使用 FIO 工具,配置1024k I/O,全顺序模型将测试LUN覆盖写一遍;

2) 配置 FIO 工具测试脚本:

a、I/O size为8k;

b、读写比例 7 : 3 混合读写;

c、预热1分钟,测试执行 1 0分钟;

执行测试,记录IOPS以及平均读写延迟。

性能测试结果如下:

用例名称测试结果IOPSMBPS
小块4k随机写性能测试(FC组网)IOPS=339000 lat(avg)=0.991ms3390001387
小块4k随机读性能测试(FC组网)IOPS=597000 lat(avg)=0.642ms5970002444
大块512k随机写性能测试(FC组网)BW=5467MiB/s lat(avg)= 8.778ms110005467
大块512k随机写性能测试(FC组网)BW=10444MiB/s lat(avg)=6.104ms2000010444
混合读写(8k读写比7:3)性能测试(FC组网)IOPS=473000 lat=0.811ms4730003694

6、 测试总结

本次存储测试使用华为 Ocean Stor Dorado 5 3 00全闪存存储产品,在 对接国产服务器的 测试场景下,对存储系统的功能、性能 和 可靠性进行了充分测试, 测试 结果均符合预期,满足业务需求。

6、 总结

本文结合我行实际经验实施经验,介绍了华为OceanStor Dorado 5300系列中端全闪存储国产化替代实施方案,并基于银行业应用的特点,结合具体的场景及对存储功能的需求,对关键点、实施及运维的重点进行了分析与运用。在华为存储的落地实施中,既让国产化替代的规划得到实践,又以新产品新技术的角度提高业务系统的自主可控能力。本次实践充分考虑了未来扩展的需求,包括灾备能力的需求,对我行未来信息化建设过程的实践起到很好的指导作用。存储上线至今,已稳定运行近半年,承接了数个业务系统的存储需求。期待未来我们国产厂商能够更加精进中高端的存储产品,为我们自主可控战略提供更有利的支撑。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论2 条评论

匿名用户
2023-05-09 10:18
这个测试,性能司机经过svc的iops,还是没有经过svc?

czjing: @匿名用户 性能测试的iops未经过svc,也想避免svc层面带来的性能测试影响吧。

2023-05-09 17:54
tri7stantri7stan系统运维工程师, 泸州银行股份有限公司
2023-05-09 10:06
感谢分享,写的比较中肯,基于实际 希望能进一步分享基于iscsi/RoCE over Nvme 协议的实践以进行对比

czjing@tri7stan 这部分没做测试,后续会纳入到测试的范畴里

2023-05-11 09:34
Ctrl+Enter 发表

本文隶属于专栏

最佳实践
不同的领域,都有先行者,实践者,用他们的最佳实践来加速更多企业的建设项目落地。

作者其他文章

相关文章

X社区推广