侯守立
作者侯守立课题专家组·2023-08-15 11:01
系统运维工程师·某保险公司

某财险公司基于华为NAS存储的应用系统高可用实践——关键实施和场景实践篇

字数 3787阅读 4379评论 0赞 2

随着保险业务线上化建设及数字化转型要求的不断提高,大量不同于传统形态的各类数据迅速增长,监管机构更高的合规要求和灾备等需求也使管理难度增大。企业需要数字化基础架构中的存储体系能够提供快捷、灵活的存储应用支撑,并能快速迭代演进。针对亟待解决的问题,某保险公司希望建设智能数据传输和虚拟化管理相结合的整体存储管理平台,因此基于华为OceanStor存储产品从分级存储、数据保护等方面设计了NAS存储建设技术方案,具体内容见上篇《某财险公司基于华为NAS存储的应用系统高可用实践——需求分析和方案设计篇》,本文为下篇,将结合应用场景实践,分享方案实施效果和运维经验,希望能为大家带来实用参考。

一、 前言

为支撑财险公司数字化转型,在持续实施业务与服务线上化项目的过程中,产生了大量的非结构化数据及小文件;同时,微服务架构逐渐成为应用系统迭代的主要方向,虚拟化与容器云平台被广泛应用,数据存储需要充分考虑业务要求及合规要求的非持久与持久化问题。根据上篇《某财险公司基于华为NAS存储的应用系统高可用实践——需求分析和方案设计篇》的存储需求梳理与分析,结合数字化基础设施整体建设;本篇从实际出发,通过对方案进行关键功能验证,并在若干应用场景予以实践,为存储应用持续迭代和演进提供了一种实践路径。

二、 关键功能验证及切换步骤

(一) 验证原则

设备部署完成后、数据迁移和业务搬迁前,需要对系统关键功能进行独立验证,检查整体系统的完整性、可用性和稳定性:

1) 验证前整理出所有必须通过的验证用例;

2) 所有用例验证通过,方可进入数据迁移和业务搬迁阶段;

3) 验证使用数据均为临时数据,验证完成后清除;

4) 所有用例需执行多次(十次以上),验证功能稳定性;

(二) 验证用例

用例名称验证文件系统创建快照
预置条件文件引擎已创建,导入大小50MB~5GB的文件,共享预置相应的文件数据。系统运行正常。准备测试服务器。
步骤在ISM上选中文件系统fstest1,在快照管理中创建快照snap1。在ISM上将快照在线,并用该快照创建cifs normal共享,参数为读写,将fstest1也创建为读写的normal共享,并在ISM上创建CIFS本地用户test1。在客户端上分别挂载fstest1和该快照的共享,检查两个共享的文件是否一致。
预期结果步骤1结果:快照策略设置成功。步骤2结果:可通过该快照正常创建normal共享。步骤3结果:两个共享文件一致,快照正确保存了该时刻的文件系统数据。
验证频度在一般情况下验证创建快照功能,连续执行十次成功;在执行远程复制情况下验证创建快照功能,连续执行五次成功;

用例名称测试文件系统的远程复制功能
预置条件存储集群运行正常。主端和从端已完成正确组网。主从站点已建立远程连接。主端和从端分别使用SAS盘创建文件存储池。
验证步骤在主端利用存储池pool创建文件系统fs,大小为50M~5GB。在主端和从端建立LUN之间的连接,分别基于文件存储池创建四组远程复制(一致性组),策略为手动同步,创建成功后等待初始同步完成。在主端向文件系统fs写入若干文件,1.data,2.data,3.data,4.data;并用 mkdir 生成四个目录 dir1,dir2,dir3,dir4。在主端对远程复制进行手动同步。同步成功后,进行主从切换,并且将从端LUN映射给从端N8500。在从端扫描磁盘。在从端ISM主界面导航上,选择“NAS服务 > 远程复制 > 状态控制 > 数据恢复”。在从端查看恢复后的文件系统中的数据和步骤3写入的数据是否一致。在新的主端的文件系统写入文件文件5.data和目录dir5。重新建立复制关系,在新的复制关系的主端执行同步。再次执行主从切换,将新复制关系的从端切换为主端。在主端执行选择“NAS服务 > 远程复制 > 状态控制 > 数据恢复”,并检查数据是否已经反向同步成功。
预期结果步骤2执行后,远程复制初始同步成功。步骤4执行后,成功执行同步功能。步骤8执行后,1.data,2.data,3.data,4.data, dir1,dir2,dir3,dir4成功复制到远端,恢复的数据和步骤3的数据完全一致。步骤12执行后,主端有1.data,2.data,3.data,4.data,5.data, dir1,dir2,dir3,dir4,dir5。
验证频度远程复制连续执行五次成功;设置定时远程复制,执行五次成功,评估数据传输速度是否满足需求;主端数据读写时执行远程复制功能成功;从端数据备份时执行远程复制功能成功;

(三) 切换步骤

切换步骤预计时间操作内容
一、切换前检查10分钟
1.1检查主端迁移数据完整性 检查主端数据与原存储设备中数据一致;本操作提前完成,切换前复查;
1.2检查从端迁移数据完整性 检查从端数据一致性;本操作提前完成,切换前复查;
二、生产端业务停止服务60分钟
2.1生产端各业务子系统停止服务 原存储设备票据文件路径更改,设备下电;验证生产端各业务已停止服务;
三、业务搬迁60分钟
3.1启用生产主端存储设备 生产主端存储设备启动;文件系统路径调整,配置为生产业务系统使用路径;
3.2生产端业务启用 验证生产端各业务恢复服务;原存储设备上电;再次验证生产端各业务功能运行正常;
四、启动远程复制120分钟
4.1主从端远程复制功能启动 主从端存储设备复制功能启动;主从端在切换前提前同步95%以上数据,以确保切换过程中的第一次数通同步在30分钟内完成;
4.2 验证新增数据的远程复制 主端业务操作,部分文件变更,验证是否通过远程复制功能同步到从端;至少验证2次以上的远程复制功能正常运行,每次远程复制间隔30分钟自动运行;
五、从端存储数据备份120分钟与步骤四并行
5.1 从端数据建立快照 从端数据系统建立快照,可以通过其他设备读取从端数据;每次远程复制功能完成后,建立快照,可以读取最终复制数据;
5.2 从端数据备份至备份库 访问从端数据,将数据备份到备份库库中;
六、切换完成,验证功能60分钟
6.1 生产业务系统功能确认 生产所有涉及业务系统功能再次确认;原存储设备票据文件清理;

三、 应用场景实践

(一) 存储高可用实践

NAS设备本身的高可用:存储设备配置双 C onsole,网络接口 B ond,硬盘柜RAID,多电源适配器等多种冗余配置。

主(机房)备(机房)部署的高可用:主备两端配置远程复制功能,每次复制间隔时间最小为5分钟。在主NAS不可用情况下可将主备NAS分离,将备NAS设置为主NAS节点,挂接NAS主机节点 M ount到新的主节点地址。

(二) 应用高可用实践

NAS存储划分出两块空间,分别用于存放应用非结构化数据及应用运行环境(包括可运行的应用软件、中间件软件、运行过程中日志输出及各类交互记录等),设定统一的用户id并与应用主机保持一致;应用系统进行集群部署,两块NAS存储空间分别挂载到集群各主机的指定目录;可以实现应用高可用部署,同时实现应用环境及应用日志的备份管理。

(三) 容器云存储实践

由于NAS存储有着相当的灵活性、可扩展性和高可用性,在容器云平台存储应用过程中,NAS存储可以便捷地挂载到多个容器进行目录共享,实现容器、应用运行过程日志、业务数据(承保及客户服务过程中的所产生的图片、视频、音频、文件等)的持久化保存;因线上化服务的迅速发展,应用的存储需求动态变化较大,NAS存储可以通过灵活的扩容和迁移进行有效支撑。同时,可以利用NAS存储的灾备端服务能力,在主备机房之间进行及时有效地数据同步,实现容器云部分业务场景的容灾支撑。

四、 运维实践经验

(一)易于管理

管理后台为可视化管理,图形界面直观友好,功能完善且聚焦;包括设备信息、资源使用情况、告警信息、性能情况等在内的运维管理数据可以直观展示,存储日常管理相关功能,均可通过图形界面实现便捷的操作。整体可视化管理界面设计合理,可以让存储管理人员在短时间内熟练使用,有效提升管理效能。

(二) 性能稳定、易于维护

从生产整体运行情况来看,相较其他存储产品,NAS存储产品性能稳定,硬件故障发生率低,在高可用和容灾部署模式下,未出现因硬件故障维护而出现的异常。日常维护简便,存储软件可在线维护升级,不影响生产业务的运行;配置管理、变更、调试验证及监控调优易于操作。

(三) 技术支持完善

NAS存储产品生态较好,技术支持与相关案例完善,易于获取便捷的售后技术支持服务,面对服务问题,优秀的技术支持团队和应急预案支撑,可以快速解决故障,售后体验较好。

五、 总结

通过项目实施及后期运维的相关情况,通过引入华为OceanStor存储产品,项目建设基本实现了准实时传送的同时执行基于策略的备份任务的数据智能传送,多级数据备份和恢复机制保证数据和应用高可用性的数据保护功能,以及更优性价比等主要预期目标;基本满足了公司在较长时间内对业务发展能够起到高灵活性、高可用性和高扩展性的支撑需求。在华为NAS存储后续的运维和应用过程中,我们将持续挖潜华为NAS存储的服务潜力,匹配应用架构迭代升级及国产化改造的相关进度,推动存储管理模式和应用场景的持续演进,全面支持公司全面数字化转型战略的实施落地。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

2

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广