侯守立
作者侯守立课题专家组·2023-08-15 10:58
系统运维工程师·某保险公司

某财险公司基于华为NAS存储的应用系统高可用实践——需求分析和方案设计篇

字数 3599阅读 4219评论 0赞 3

随着保险业务线上化建设及数字化转型要求的不断提高,大量不同于传统形态的各类数据迅速增长,监管机构更高的合规要求和灾备等需求也使管理难度增大。企业需要数字化基础架构中的存储体系能够提供快捷、灵活的存储应用支撑,并能快速迭代演进。针对亟待解决的问题,某保险公司希望建设智能数据传输和虚拟化管理相结合的整体存储管理平台,因此基于华为OceanStor存储产品从分级存储、数据保护等方面设计了NAS存储建设技术方案。

一、 背景概述

随着保险公司的数字化转型,业务及管理的线上化水平不断提升。保险主体产品、业务及服务的创新竞争加剧,保险客户及保险从业人员的数字化需求持续增加;保险业务及服务的相关应用需要有更加丰富的系统功能、更加优化的客户体验、更加完备的业务场景及更加快速的迭代创新。业务创新及业务模式的线下转线上,带来了非结构化数据的迅速增长。同时,经营环境的不断变化,对保险公司数字化运营提出了更高的监管合规(双录、电子单证等)、容灾等要求,导致存储的投入大幅增加,管理压力增大,难以满足业务的发展需要。

基于业务、管理、合规及灾备等各种需求,对数字化基础架构提出了更高的要求,保险公司迫切需要一种全新的整体数据管理思路以适应各种变化;而以存储管理作为整体管理变革的切入点,使存储体系能够提供快捷、灵活的存储应用支撑,并能快速迭代演进,可以对数据管理的方方面面都起到推动和促进的作用,真正实现事半功倍的效果。

二、 面临的问题

因项目实施周期、技术适配性等各种原因,公司已配置了多种存储设备,以满足各个应用系统的存储需求。从目前状况来看,多数采用本地磁盘或磁盘阵列的方式进行数据存储。

针对单一项目,本地磁盘或磁盘阵列的成本较为低廉,管理也较为简单,性价比较高。但随着公司业务的快速发展和存储要求的不断提高,现有的存储架构具有以下急待解决的问题:

(一) 数据分散,管理复杂度高

公司当前并没有形成整体的数据管理策略,数据分散存放,数据安全性面临较大风险,管理难度越来越大。

(二) 可扩充性差,不利于运维

存储设备来自不同厂商,无法集中管理;不同厂家、不同类型机器的可扩充的能力又各不相同,后续升级维护成本高。

(三) 备份模式急待改进

在传统的数据备份模式中,一般采用备份软件和带库相结合的方式实施;在备份实施的过程中,由于备份软件的控制机制和资源占用的局限性,其备份的效率和速度不甚理想。

(四) 存储能力难以适应创新

电子单证、电子存证及各类业务管理、互联网场景的开展过程中产生了大量非结构化数据,对存储的处理能力提出了更高的要求。

三、 项目需求

公司数据类型主要为业务、财务及客服等影像数据,大小为50KB至1MB的小文件;主要为写入行为,读出相对较少,但是要求读出响应速度<=1秒,目录结构平均5层目录。

应用场景为典型的海量小文件场景,该场景下的数据特点为:文件读写性能很差,导致文件检索需要非常长的时间(分钟级);系统性能会随着文件数量的增加而呈线性下降。

公司希望建设一种智能数据传输和虚拟化管理相结合的整体存储管理平台,其主要需求如下:

1) 数据智能传送,实时传送的同时执行基于策略的备份任务;

2) 数据保护功能,多级数据备份和恢复机制,保证数据和应用的高可用性;

3) 基础存储资源可扩展性好,性价比高。

同时,因公司应用架构由传统单体架构向微服务架构转变、部署架构由传统部署模式向虚拟化和容器云模式转变,存储建设需匹配应用及部署架构的迭代升级。而容器应用场景中应提供便捷的数据存储共享、灵活的存储扩容、快速的数据迁移、大并发的稳定支撑、简便的安全管理等持久化存储需求。

四、 项目技术方案

(一) 分级存储设计

新增数据或重要业务数据会被多个业务子系统频繁访问,历史数据往往访问频率低。因此,存储设备需提供分级存储功能,可区分数据的访问热度,为重要业务访问提供性能保障。配置双主机各24GB C ache,配置3块SSD硬盘作为二级缓存,较大的缓存空间可以提升元数据读写的缓存命中率,从而提升整个文件系统的读写性能;6TB硬盘(磁盘转速15000RPM)作为一级数据落盘存储,45TB硬盘(磁盘转速7200RPM)作为二级数据落盘存储,系统根据读取的频繁程度将非热点数据转移至二级落盘存储,热点转移至一级存储。

(二) 数据保护设计

保险 的重要业务数据,除了满足基本业务应用需求外,还需支撑 回溯 、 归档及审计等管理需求 。建立灾备系统 , 提供高效的数据保护,防止数据丢失带来的 各种 损失 及不良后果 。 运用NAS存储产品的远程复制和快照策略保障灾备端数据同步,灾备端NAS作为磁带离线备份数据源端,实现数据多层次备份安全保障。

(三) 配置参数

序号设备名称配置参数要求
1生产NAS1、至少2个或以上在线提供服务的NAS控制器2、硬盘配置:至少3块200G以上SSD硬盘,6T硬盘裸容量(磁盘转速15000RPM)或以上,45T硬盘裸容量(磁盘转速7200RPM)或以上3、通道:至少配置8个1G BASE-T IP接口,至少配置8个8GB SFP光纤接口4、缓存:至少配置24GB Cache(最大可扩展至1T)5、软件功能要求:提供NAS之间数据容灾复制,存储数据分层,存储管理的功能;支持NFS,CIFS,FTP,SAN6、其他:冗余电源,提供主机通道负载均衡及通道故障切换软件,不限主机用户的License7、服务:原厂4年质保,7×24小时服务
2灾备NAS1、至少2个或以上在线提供服务的NAS控制器2、硬盘配置:200GB SSD可用硬盘空间(至少3块硬盘,用于CACHE扩展),25T硬盘裸容量(磁盘转速15000RPM),45T硬盘裸容量(磁盘转速7200RPM)3、通道:至少配置8个1G BASE-T IP接口,至少配置8个8GB SFP光纤接口4、缓存:至少配置24GB cache(最大可扩展至1T)5、软件功能要求:提供NAS之间数据容灾复制,CATCH扩展,快照克隆,存储管理;支持NFS,CIFS,FTP,SAN6、其他:冗余电源,提供主机通道负载均衡及通道故障切换软件,不限主机用户的License7、服务:原厂4年质保,7×24小时服务
3光纤交换机24口光纤交换机2台,8G接口(8口激活带模块)

五、 实施方案

(一) 安装环境检查

按照项目安装环境检查表提前进行勘测,重点关注机房环境是否具备、设备功耗、承重是否满足、设备间的线缆长度。

(二) 信息收集

针对生产环境、灾备环境的网络、存储、文件类型、基础配置等信息进行收集,为后续实施提供必要的信息。

(三) 网络规划

根据项目技术实施方案,对管理IP(含生产端、灾备端)、业务IP(含生产端、灾备端)进行合理地规划,参考表格如下:

设备名称IP地址子网掩码网关
NAS引擎AXXXXXXXXX
NAS引擎BXXXXXXXXX
存储A控XXXXXXXXX
存储B控XXXXXXXXX

注:两套NAS设备各需一个 C onsole IP。

(四) 存储容量规划

1) 硬盘域规划:基于业务单一性及磁盘数量的特点,按照6块HSSD + 24块NL-SAS,分别划定生产硬盘域及灾备硬盘域;

2) 存储池配置规划:因硬盘域中小于90%的容量空间用于提供NAS共享,将该硬盘域内的所有空间创建一个存储池,性能层采用HSSD,提升性能,满足业务数据读取时延≤1s 的要求,NL-SAS容量层建议采用RAID5(8D+1P)的方式兼顾业务对NL-SAS层的性能和容量需求,预留10%容量作为应急使用;

3) LUN规划:三个100G小LUN用于提供 I ofencing,存储池中LUN大小依据业务需求划分为大LUN。

(五) 文件系统规划

依据实际业务需求进行文件系统规划,在业务允许时,可以规划大文件系统,以便于后续管理,其中文件系统大小一般不超过35T,单个文件系统文件数量不超过4000万;并且共享文件系统提供NFS共享。

(六) 具体实施

1) 阶段一:设备部署,上电调试与关键功能验证

实施部署设备,进行关键功能调试与验证,需要独立验证的功能包括:远程复制;建立数据快照;关键功能测试及交叉测试。

2) 阶段二:数据迁移,业务搬迁与试运行

将当前系统数据陆续迁移到新建存储系统上,实施数据迁移、业务搬迁、试运行(含生产端、灾备端)。

六、 总结

通过对保险业务线上化建设及数字化转型所面临问题的简要分析,为有效支撑保险应用系统体系的快速迭代演进,统筹考虑保险数字化基础架构建设,根据市场主要NAS存储产品POC情况,公司基于华为OceanStor存储产品从分级存储、数据保护等方面设计了NAS存储建设技术方案,拟通过两个阶段的实施,建设一套整体的存储管理平台,同时匹配传统单体应用架构及微服务容器部署架构,满足公司转型过程中的迫切存储需求,支撑公司创新发展。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广