摘要：银行作为传统金融行业，其IT基础环境系统需具备开放、稳定、高效、灵活、安全的技术特点，本文通过对集中式高端存储系统技术特点分析，结合实际需求场景选择一套华为OceanStor Dorado18000系列高端全闪存储作为适合于银行承载数据服务的高端全闪存存储设备。

一、背景与意义

银行作为金融服务行业，服务必定是其考虑的重要因素，随着互联网技术的发展，银行通过互联网技术向客户提供开户、销户、查询、对账、行内转账、跨行转账、信贷、网上证券、投资理财等传统服务项目。核心系统与外围系统进行数据交换、系统内资金清算、内部帐务处理、为分析数据平台准备数据、登记会计账簿、日结月结年结等，需要在批处理流程中制定。从技术层面出发，随着银行业的OLAP业务随着业务量的增长，批处理普遍存在处理时间窗口紧张的问题，选择一套能够提供更快的处理能力，大幅缩短批处理的处理时长，满足海量数据在时间窗口内完成处理响应更快，不卡顿，提升客户满意度的高端全闪存系统成为了现代银行业IT系统架构最迫切的技术需求。

二、选型思路框架

存储设备选型要从以下几个方面出发：

（1）需求方面：存储设备使用的场景，对接的应用系统种类对应存储服务的技术需求。

（2）产品选型方面：SAN与NAS的交付方式，统一式交付或独立分离式交付。

（3）网络方面：网络设计，组网规划。

（4）负载均衡：SAN和NAS的负载均衡策略。

（5）可靠性方面：数据、链路、硬件等可靠性。

（6）功能方面：跨协议访问、异构虚拟化、数据迁移、数据精简、数据缩减技术、分层存储。

（7）兼容性方面：兼容主流操作系统和虚拟化平台等。

针对上述需求发展和关联技术的变革对银行IT基础设施的设计和构建提出了更高的要求，要构建一个现代化的IT基础设计，选择一个合适的存储系统是最为关键的环节。

三、需求分析

3.1、存储需求

3.1.1、存储设备适用应用场景

• 关系型数据库：主业务数据存储，为事务型数据提供处理，用于应用系统的核心数据存储；

• 集中管理，并为数据存储设备发送基于块或文件存储的访问请求；

• 低延时业务系统：访问存储系统端到端的时延不超过1ms；

• 高可靠和高性能：高速缓存、数据持久化、架构冗余，主机多路径；

• 容灾：双活，同城，两地三中心；

• IO密集型：磁盘读写频繁。

3.1.2、存储服务需求：

• 提供端到端低时延、大吞吐量的稳定高性能能力。

• 前端支持32GBb、64GB FC端口；10GB、25GB以太网端口；
• 后端支持NVMe SSD接口；
• 内部集群交换和后端互联接口支持RDMA的高速协议。

• 存储设备芯片

• 高密集成，运算能力高且多核、多处理器；
• 软硬结合均衡发布后台多控制器，集成扩展能力强，保证横向扩展和高效运行

• 数据可靠性保护，支持数据打散，满足磁盘级别冗余、磁盘框级别冗余。

• 块存储、文件存储一体式交付。

3.1.3、对接存储应用需求：

• 支持基于光纤通道(FC)或于以太网的iSCSI等协议；

• 支持主机多路径技术，

• 支持NFS、CIFS、FTP等网络文件共享协议。

3.2、产品选型方面

3.2.1、交付方式

3.3、网络方面

3.3.1、网络设计

• 根据业务类型划分网络平面隔离：

• NAS平面：TCP/IP协议，与主机文件业务网络的数据通信，对外提供NFS、CIFS协议接口。
• SAN平面：FC协议，连接主机HBA卡的数据通信，用于主机系统发送I/O请求和处理I/O请求。
• 管理平面：TCP/IP协议，与管理网络间的数据通信，对存储设备进行管理和维护；通过门户或Rest api以及DNS、AD和NTP等网络服务流量。
• 硬件平面：TCP/IP协议，接入硬件节点HMC接口，提供远程硬件设备管理功能。
• 数据复制平面：双活站点网络，同城容灾网络，TCP/IP协议或FC协议，提供同城灾备、跨站点双活网络间的数据复制通信，通常对网络时延的要求非常高；异地容灾网络，TCP/IP协议，提供异地容灾网络的数据复制通信。

3.3.2、组网规划

• NAS组网：建议每个站点至少部署两套网络交换机，单机柜中每个控制器连接交换机至少配置2个上联端口，主机至少配置两块以太网卡分别连接两套网络交换机，采用10GbE及以上端口。建立专用的网络设备并规划独立的IP地址段供NAS存储服务使用，交换机段启用LACP端口绑定协议。

• SAN组网：建议每个站点至少部署两套存储光纤交换机，单机柜中每个控制器连接交换机至少配置1个上联端口，主机至少配置两块HBA卡分别连接两套光纤交换机，采用16GbE及以上SFP光纤模块。如果存储设备有跨站点数据复制传输，则需根据复制链路需求部署对接同城的波分复用设备（DWDM）或异地远距离传输的专用支持FCIP功能的存储光纤交换机。

• 管理网络：接入专用管理网络，开通到监控、一体化运维等第三方管理平台纳管所对应的网络策略端口。

• 硬件管理网络： 对接控制器工程师维护口，接入HMC管理网。

3.3.3、支持协议及服务端口

3.4、负载均衡

3.4.1、SAN负载均衡

相较于中低端存储系统，大多数厂商采用的是ALUA架构，在管理员划分LUN的同时，LUN是存在归属控制器概念的，由于使用业务的不同，例如Oracle的使用，表空间所占用的ASM磁盘组与数据归档所占用的磁盘组在时间段和IO压力方面是由明显区别的，所以要实现存储系统中每个控制器的负载均衡需要对LUN的归属进行较为细致的规划，即便这样不同业务系统不同时间段的压力，在实际情况下也难以保证每个控制器负载均衡。华为OceanStor Dorado 18000系列高端全闪存储的软件采用了早先高端存储成本较高的紧耦合控制器架构（Symmetric Active-Active），这样的控制器架构比现阶段市面上高端存储控制器虚拟化分布式架构从硬件方面给用户带来了较强的安全感。通过均衡算法，实现每个控制器接收到的主机读写请 求是均衡的；通过全局缓存技术实现LUN无归属，每个控制器收到的读写请求，就在本控制器处理（而不像AULA存储需要转发到LUN归属控制器处理），实现了控制器压力均衡。

3.4.2、NAS负载均衡

对于传统的NAS存储系统，大部分主流设备文件服务机头一般采用主备架构，在创建文件系统时，文件系统归属于主活动机头，在发生存储设备硬件故障或网络问题时则切换至备用机头运行，这样的NAS架构，对于多控制器的存储系统来说，硬件资源的利用无疑存在浪费，无法利用多控制器来提高系统本身的性能。华为OceanStor Dorado 18000系列高端全闪存储的NAS采用分布式文件系统架构，文件系统没有归属控制器，通过均衡算法将文件系统的目录和文件均衡写入每个控制器，实现每个控制器接收到的主机读写请求是均衡的，使得1个文件系统也能将整个存储集群的资源充分利用。

3.5、可靠性方面

3.5.1、数据可靠性方面

传统RAID的存储系统中RAID组的成员盘是固定的几个物理盘，在进行存储容量使用划分中，由于系统对数据访问频度不同，就会导致RAID组中热点盘的形成，硬盘如果长期工作，它的故障率就会明显升高，长期负载不均会对存储系统的可靠性带来风险。华为OceanStor Dorado 18000系列高端全闪存储将每个SSD盘切分成固定大小的Chunk（简称CK，大小为4MB）， 将所有盘上Chunk按RAID冗余组成Chunk组，形成RAID2.0+，相对于传统RAID机制，RAID2.0+具备如下优势：

• 业务负载均衡，避免热点。数据打散到资源池内所有硬盘上，没有热点，硬盘负荷平均，避免个别盘因为承担更多的写操作而提前达到寿命的上限。

• 快速重构，缩小风险窗口。当硬盘故障时，故障盘上的有效数据会被重构到资源 池内除故障盘外的所有盘上，实现了多对多的重构，速度快，大幅缩短数据处于非冗余状态的时间。

• 全盘参与重构。资源池内所有硬盘都会参与重构，每个盘的重构负载很低，重构过程对上层应用无影响。

在RAID2.0+的基础上以CK为单位配置RAID组，采用RAID-TP（EC-3算法，每个校验条带生成3个校验数据，支持同时坏3盘）支持存储系统存储池内最多3块硬盘同时故障数据不丢失。

3.5.2、硬件可靠性方面

• 存储设备部件满足冗余部署：多控制器、冗余电源、冗余风扇、冗余内部连线互联等。

• 支持缓存多副本技术，设置三副本模式可保证在多控制器情况下同时故障两个控制器写缓存数据不丢失。内置BBU模块（备电），当存储设备掉电后，利用供电模块各控制器内存中的缓存数据刷入到保险箱中保证数据不丢失。

• 在保证单盘本身的高可靠性同时，利用多盘冗余能力保证单盘故障损坏后的业务可用能力。通过算法及时发现单盘故障或是亚健康，及时隔离， 避免长期影响业务，然后再利用冗余技术恢复故障盘数据，持续对外提供业务能力。

3.5.3、链路可靠性方面

• 存储系统对接主机的前端，连接硬盘的后端，以及控制器之间的通讯，均有链路/接口模块冗余保护。华为OceanStor Dorado 18000系列高端全闪存储每张前端共享接口模块与控制框内的每个控制器连接，针对FC协议，通过前端卡与主机建立连接，当控制器故障或是更换时，由于主机或前端卡连接未中断， 因此不会导致重新建连。待剩下的控制器接管业务后，前端卡将重试I/O下发到接管控制器，保证业务连续性。

• 高冗余控制器的可靠性保护，缓存数据除在当前控制器存在外，还会选择另外一个控制器作为其副本，确保单控制器故障时，业务能切换到冗余的缓存副本归属控制器，保证业务连续性。

3.5.4、全互联架构

• 前端全互联：每个共享接口模块通过4条PCIE总线分别连接到4个控制器，主机能够通过连接共享接口模块的任一端口同 时访问4个控制器。在使用共享接口模块情况下，只需要1条连线，主机便可与每个控制器建立物理链路。在控制器故障时实现主机对控制器故障不感知。

• 控制器全互联：每个控制器是一个独立可热插拔服务处理单元，可提供3对RDMA高速链路，通过连接到无源背板与其他控制器实现全交叉互连，与其他3个控制器全交叉连接，控制器之间的数据能够在不经过第三方中转的情况下实现一次 RDMA直达。

• 后端全互联：硬盘框采用双端口硬盘，实现硬盘的1+1的Active-Active的共享互联。

3.6、功能方面

3.6.1、跨协议互通

支持NFS/SMB 跨协议访问，文件系统建立后既能通过NFS共享服务又能通过CIFS共享服务，存储系统通过Multiprotocal Lock manager进行分布式锁管理， 确保NFS/CIFS能互斥访问相同的文件，不会造成数据不一致或文件损坏。

3.6.2、异构虚拟化&数据迁移

支持异构存储LUN 的接管，配合数据迁移可以实现异构存储的数据在线迁移，完成新老设备的更新换代和数据搬迁。通过LUN伪装技术，将华为OceanStor Dorado 18000系列高端全闪存储的待迁移LUN的WWN等关键信息设置成与异构存储系统上的LUN信息一致。待迁移LUN接入主机后，多路径软件会把新LUN与异构存储上已有的LUN识别为同一个LUN，但是，增加了访问的路径。然后将异构存储到主机链路移除，主机多路径就会进行链路切换，把链路切换到新LUN的路径，从而实现在线接管。

3.6.3、数据精简&数据缩减

以按需分配的方式来管理存储设备空间使用。将订阅的存储空间容量反馈给业务系统，实际用户看到的存储空间远大于系统实际分配的空间。用户对存储空间的使用实行按需分配的原则，对于空间容量扩容和缩减对于用户来说是完全透明的，这有利于采购流程较长但实际业务发展较快的业务系统容量管理。

数据缩减，对数据中的冗余信息进行处理来减小数据体积：

• 相似重删：依赖相似指纹识别数据的相识度，对相识度较高的设备进行重删编码的原理来实现。

• 数据压缩：数据通过压缩算法和数据压紧对元数据进行数据压缩。

• 以我行Vmware云底座实际使用为例，每台华为OceanStor Dorado 18000系列高端全闪存储存储订阅容量基本在300TB，通过数据精简压缩后实际落盘10TB左右，订阅比990%。

3.6.4、存储分层

存储分层功能是利用数据动态迁移功能实现冷热数据在不同介质上进行存储迁移，从而提高介质利用率，降低存储系统使用成本。主机优先写入性能层，保证数据实时访问性能，之后通过存储系统后台智能调度将访问频次较低的数据迁移至容量层。

3.7、兼容性方面

对业界主流的操作系统、虚拟化软件、集群软件、数据库软件、存储网关等具备良好可用的兼容能力。

四、结果分析

随着系统软硬件平台运维支持截止期的到来，行内存在大量面临EOS的业务系统，借此通过软件和硬件设备更新保证业务系统继续健壮稳定运行。在通过大量的环境验证工作后，确定将信贷系统和非零售内评系统的数据库环境作为华为OceanStor Dorado 18000系列高端全闪存储替代方案的目标业务系统，在准生产环境反复测试后发现，这两个系统的外围跑批时间从原来的小时级别变为20~30分钟级别，将近缩短了近5倍的时间，通过使用华为OceanStor Dorado 18000系列高端全闪存储持续优化软硬件系统，为我行核心批处理窗口时间缩短提供了有效的支持。

五、结论

根据上述研究表明，一体化的交付方式相较于硬件分离交付对于稳定性、兼容性、运维门槛都有较好的优势；在数据可靠性方面RAID2.0+底层打散，RAID-TP的3EC校验也是业界主流的数据保护方式；紧耦合的控制器架构带来直观的健壮性感受；SSD成本也日益低廉，NVMe技术日渐强大；参考当前主流厂商对象存储具备的相关企业级功能。随着华为多年在存储领域的摸爬滚打，华为OceanStor Dorado 18000系列高端全闪存储在金融业承载核心业务能力也给我们带来了极大的信心。通过对存储系统的需求分析，华为OceanStor Dorado 18000系列高端全闪存储系统对银行业IT基础设施能够实现有效支撑，因此我行在最终选型时也选择了华为OceanStor Dorado 18000系列高端全闪存储。

相关链接：

• 某商业银行关键系统应用场景存储选型运维实践——需求分析与选型思路篇
• 某商业银行关键系统应用场景存储选型运维实践——POC测试篇
• 某商业银行关键系统应用场景存储选型运维实践——运维经验篇