摘要：为加强业务连续性管理，通过软硬件和系统升级，实现同城重要信息系统业务级容灾。当前主机房服务器服役多年，设备老旧，为保障业务安全可靠无缝过度的前提下，并且符合当前最新的技术路线。经过详细调研最终选择小型机结合虚拟化平台和小型机云管平台部署了同城两个核心业务私有云，私有云内部署的应用包括：核心系统、现代化支付系统等A、B类业务系统。同时通过自动化运维“一键切换”平台，实现业务分钟级切换，数据零丢失。

关键字：同城容灾，虚拟化资源池，私有云，高可靠，靠弹性

**

1. 导言

信息系统的快速发展，传统架构有成本高 、计算资源利用率低下、 数据安全性低 、 系统可扩展能力低 、 迁移成本高 、 数据管理复杂 、资源配置不灵活 等问题 。针对以上问题，目前我们可以利用虚拟化技术把新旧资源有机合理的整合，形成符合 银行业 日常业务需求的资源池，使 银行内 各业务部门、 监管机构等关系方 可以随时分享这些资源，提高工作效率，降低资源成本。

本文从新旧架构的描述 、 部署情况 、 使用过程中遇到的痛点以及系统选型等方面对银行同城双核心业务系统私有云项目介绍 。

2. 原有架构概述

2.1 整体架构

图.主机房旧数据中心架构图

2.2 架构描述

（1） 银行主 机房在生产环境总共部署了多台小型机，用于承载银行数据库及部分关键应用节点的运行环境，涵盖了银行绝大部分的业务系统。

（2）前置接入层和外联前置应用各使用两台小型机互为主备的部署方式 。

（3）应用层使用两台小型机互为HA的部署方式，其中一台跑的是核心应用（应用提供商为珠海震兴），另一台作为管理台。

（4）数据库层使用两台小型机为HA的部署方式，其中一台跑的是生产交易库（easy核心交易库），另一台跑的是his历史库数据。

（5） 异地灾备 机房有两台小型机互为HA的方式部署，与 主 机房的数据库层的两台机器通过数据库HADR的方式实现异地容灾的功能。

（6） SAN使用的是8端口Brocade B24 ； 核心存储：DS7000存储 ； 超级网银（第二代支付）使用的是V5000存储；P550 ( 8 C 16G ) ；P570 ( 16C 36G )。

2.3 原有架构存在的问题以及需要改善的功能

旧架构资源交付流程如下图 ：

从上图中，我们可以发现：

1. 随着业务的快速发展，银行新系统上线的频率加快，对运行主机资源需求量大，而银行现有生产系统部署得较为集中，主机无法再分配新的资源。因此，需要采购新的相关资源，但是采购流程和周期又相对较长，严重制约了新系统上线的效率，进而影响了业务的开展；
2. 原有架构的业务系统升级换代比较复杂，升级换代存在安全隐患；
3. 传统的 IT 基础设施的构建是一个比较复杂的过程。从安装硬件，配置网络，安装软件，应用，配置存储等，许多环节都需要一定的技术力量储备。当环境发生改变时，整个过程需要重复进行。同时，不同的系统管理员安装配置的环境又会存在很大的差异。放在复杂的城商行的 IT 环境来考虑，即使有说明，仍然无法保证环境的一致性。

4.基本通过手工实现，交付周期以天计：手工创建存储卷、手工配置SAN交换机zoning、手工配置卷的映射、手工配置网络、手工安装OS、手工调整OS参数、手工部署应用系统/数据库系统等

5. 主 机房于2012年正式上线，起初互联网应用少，30%的业务数据来自移动端，70%的业务数据来自柜面端；但随着业务的发展，网联端交易上升，80%的业务数据来自移动端，20%的业务数据来自柜面。所以原来 主 机房的服务器架构不能满足在这种业务中增长的数据量，亟需改造升级。

6 . 跑批量业务时候，内存使用率达 9 0% CPU 使用率达 7 0% ～ 8 0 % ，时间过久，约 4 ～ 4 个半小时，可能会影响正常的柜面交易；正常交易情况下内存和 CPU 的使用率都比较低。

3. 虚拟化资源池规划及选型

3.1 解决思路

传统的 IT 基础设施的构建是一个比较复杂的过程。从安装硬件、配置网络、安装软件、应用、配置存储等，许多环节都需要一定的技术力量储备。当环境发生改变时，整个过程需要重复进行。同时，不同的系统管理员安装配置的环境又会存在很大的差异。放在复杂的城商行的 IT 环境来考虑，即使有说明，仍然无法保证环境的一致性。再者，随着银行业务的不断发展和创新，对服务器和存储等硬件资源的需求不断增加，且要求快速部署和交付。传统的 IT 架构在这些问题面前显得苍白无力。

基于上述问题，构建一套具有柔性、弹性的 IT 基础设施架构（即虚拟化资源池）势在必行，实现对硬件资源的灵活搭配与快速交付；同时对应用系统的负载变化做出快速反应，实现全局资源统一、集约化管理，按需分配，有效降低重复建设。进行虚拟化资源池的改造有利于更好地促进各种业界领先的、创新的信息技术和解决方案在银行中普及和应用，从硬件、软件、平台、网络等方面加快深度融合的步伐，迅速便捷高效地提高生产管理效率，优化业务流程，加速培育新产品，新方案，新模式，实现产业链上游与下游的高效对接及联合创新，重塑生产组织方式和创新机制。

3.2 资源池设备选择

3.2.1 资源池虚拟化技术的选型要求

为了满足业务系统的苛刻要求，所选择的虚拟化技术宜具备以下的几点：

1. 没有安全漏洞
2. 所部署的虚拟化软件支持滚动升级而不影响上层所承载的所有业务系统
3. 所部署的虚拟化软件发生问题时不影响上层所承载的所有业务系统
4. 几乎无损硬件性能
5. 单个虚机可同时根据客户需求划分物理资源和虚拟资源
6. 支持动态增加、移动、减少处理器、内存、物理/虚拟适配器
7. 支持处理器、内存按需动态激活（如果服务器中有尚未激活的处理器）
8. 支持虚机所承载的操作系统在线升级而不影响上层所承载的所有业务系统
9. 与第三方云管平台可平滑对接
10. 较好的性价比，需要综合考虑未来五年的总体拥有成本，而不是仅考虑初次的采购成本。未来五年的总体拥有成本包含了硬件的初次采购成本和5年的软硬件维护成本、软件许可成本、迁移成本、管理成本以及空间能耗成本等因素。

3.2.2 虚拟资源池的架构选型

在云计算的实现中，服务器虚拟化实现技术主要是硬件分区技术 (Hardware Partitioning)

固件分区技术 (Bare Metal Hypervisor) 、软件分区技术 (Hosted Hypervisor) 。

一、硬件分区技术

硬件分区技术是通常由服务器的软件层和硬件层共同实现，为上层操作系统和应用提供相互隔离的运行环境。采用分区技术的服务器中，服务器的固件记录分区的配置信息，用以界定每个分区能够访问的CPU、内存等资源的范围和数量。同时，服务器底层软件可以通过对不同资源的激活和释放等操作，实现资源在不同分区之间的调度。

服务器硬件提供结构支持帮助创建虚拟机监视并允许客户机操作系统独立运行，不需要操作系统支持，可直接对硬件资源进行划分，任一分区内的操作系统和硬件故障不影响其他分区。

二、固件分区技术

固件分区技术是一种底层硬件模拟虚拟化技术，它利用虚拟机监视器（VMM，也叫虚拟机管理程序）来模拟底层硬件的功能，为上层操作系统提供虚拟的运行环境。在系统硬件和 操作系统之间以软件和固件的形式将硬件资源进行虚拟化。不需要操作系统支持，任一分区的操作系统故障不影响其他分区。从操作系统的角度来看，运行在虚拟机上与运行在其对应的物理服务器上几乎没有区别。

该技术不需要在服务器上先安装操作系统，而是直接将VMM 安装在服务器硬件设备中，VMM实现从虚拟资源到物理资源的映射，当虚拟机中的操作系统通过特权指令访问关键系统资源时，VMM将接管其请求，并进行相应的模拟处理。为了使这种机制能够有效地工作，每条特权指令的执行都需要产生“自陷”以便VMM能够捕获该指令，从而使得 VMM能够模拟执行相应的指令。VMM通过模拟特权指令的执行，并将处理结果返回给指定的客户虚拟系 统的方式，实现了不同虚拟机的运行上下文保护与切换，从而能够虚拟出多个硬件系统，保证了各个客户虚拟系统的有效隔离。

三、软件分区技术

软件分区技术也是一种底层硬件模拟虚拟化技术，VMM安装在已有的主机操作系统（宿主操作系统）之上，通过宿主操作系统来管理和访问各类资源（如文件和各类I/ O 。设备等）。

就操作系统层的虚拟化而言，没有独立的hyper- visor层。主机操作系统负责在多个虚拟服务器之间分配硬件资源，并且让这些服务器彼此独立。一个明显的区别是，如果使用操作系统层虚拟化，所有虚拟服务器必须运行同一操作系统（不过每个实例有各自的应用程序和用户账户）。

四、三种服务器虚拟化技术的优劣

1. 硬件分区受到限制很多，发展有限。
2. 固件分区技术直接在硬件上面安装虚拟化软件，再在其上安装操作系统和应用，依赖虚拟层内核和服务器控制台进行管理。计算性能与传统物理机无差别。能提供丰富功能，灵活性，可用性。
3. 软件分区技术这类虚拟化架构系统损耗比较大，灵活性比较差，但本机速度性能比较高，并且由于架构在所有虚拟服务器上使用单一、标准的操作系统，管理起来比异构环境要容易。主要被重视操作系统层整合的客户采用。

3.3 技术的最终选择

鉴于主机房旧数据中心以及异地灾备机房由大量的小型机服务器组成，并为使部署在老的小型机服务器可以平滑迁移到虚拟化资源池中，且结合考虑后续业务的性能要求。因此，采用支持固件分区虚拟化技术的同构的小型机服务器进行资源池扩容、新旧替换等运维工作可使得数据中心升级的技术难度与风险降到最低。

4. 新架构概述

4.1 整体架构

为适应业务快速发展需求以及提升系统管理效率，同时确保旧数据中心服务器更新升级顺利运行， 因此 规划建设新一代小型机生产系统资源池管理平台，主要技术实现采用目前最先进的云计算框架和设计理念，包括 虚拟化平台 、 小型机云管平台 （基于Openstack）、关键云架构存储 SVC， 实现对物理服务器、虚拟服务器、存储、网络以及管理的统一调配。

该系统资源池平台管理4台E850C服务器和4台E950提供计算资源，服务器可以按不同用途划分为不同功能区比如生产系统资源池、准生产系统资源池与非生产系统资源池等服务器组。E850C和E950服务器均通过构建双 VIOS 主备模式，为网络虚拟化与存储虚拟化提供高可用保护。

其中E850C资源池底层由3台SVC节点构建1个IO group，共同纳管2台DS8884存储设备；E950资源池底层由2台SVC节点构建1个IO group，共同纳管2台FS9100存储设备。两个资源池均通过 SVC 为生产系统资源池的服务器组提供存储空间，来源于不同存储设备的存储空间通过 VDM 镜像机制为数据提供保护。

l 小型机云管平台生产系统资源池

新一代小型机云管平台生产系统资源池整合4台E850C 服务器和4台 E950 ，每台服务器构建双VIOS 主备模式，提供原有环境计划迁移的生产分区和新增生产分区虚拟化资源池服务。

图.新一代小型机云管平台生产系统资源池

图.新一代小型机云管平台生产系统资源池

图.新一代小型机云管平台生产系统资源池(整体架构图)

l 配套存储

1 . 主机房通过SVC 存储虚拟化设备整合 2 台 DS8884 存储设备，采用存储设备层的虚拟化技术和存储复制技术为上述资源池提供存储空间与数据保护。

2 . 同城机房通过SVC存储虚拟化设备整合2台 FS9100 存储设备，采用存储设备层的虚拟化技术和存储复制技术为上述资源池提供存储空间与数据保护。

4.2 新架构目标

采用虚拟化资源池之后，新架构可以：

（1）优化资源，提升资源利用率，节约硬件成本。

（2）简化管理，提高工作效率。

（3）自动化部署，降低项目周期，提高运维效率。

（4）资源动态扩展，提高架构的灵活度。

4.3 资源池组件规划

主要物理设备有E850C服务器和 E950 服务器,存储虚拟化设备SVC、存储DS8884和 FS9100 、SAN 交换机F96(Brocade)等。

4.3.1 服务器资源

1. E850C 服务器 4 台，配置为 32C/512G，部署在主机房。
2. E 950 服务器4 台，配置为 32C/512G，部署在同城数据中心
3. 服务器配置了4 块内置硬盘，分别规划给 2 个 VIOS 使用；
4. 使用 Hardware Management Console 管理服务器。

4.3.2 存储资源

一、主机房

存储资源包括3 个 SVC 节点，2 台 存储DS8884：

• 其中 2 个 SVC 节点组成 1 个 IO group；另 1 台 SVC 节点作为热点备用节点；
• 2 台存储 DS8884 按如下规则创建 1 组互为镜像的生产空间Storage pool:

DS8884A 创建 Storage pool：DS8884A_pool

DS8884B 创建 Storage pool：DS8884B_pool

在小型机云管平台中配置DS8884A_pool 与 DS8884B_pool 的卷分配镜像关系

• SVC 对 2 个 Storage pool 启用 VDM 镜像
• IO group 规划：生产资源池通过 IO group0 传输数据。

二、同城机房

存储资源包括 2 个SVC 节点，2 台 存储 FS9100 ：

• 2 个 SVC 节点组成 1 个 IO group

• 2 台 存储 FS9100 按如下规则创建1 组互为镜像的生产空间Storage pool:

  FS9100 A 创建 Storage pool： FS9100 A_pool

  FS9100 B 创建 Storage pool： FS9100 B_pool

在小型机云管平台中配置 FS9100 A_pool 与 FS9100 B_pool 的卷分配镜像关系

• SVC 对 2 个 Storage pool 启用 VDM 镜像
• IO group 规划：生产资源池通过 IO group0 传输数据。

4.3.3 网络资源

SAN 设备F96，服务器、SVC 与存储设备的 FC光纤互为交叉与 SAN 交换机连接。本次架构使用了存储虚拟化设备 SVC，需要将服务器使用的物理 FCS 端口wwpn 与 SVC 使用的物理 FCS 端口 wwpn 规划在一个 zoning。

图.网络架构图1

图.网络架构图2

4.4 虚拟化资源池建设后的效果及实践

采用虚拟化云资源池之后，在架构设计与日常运维中可以明显获得以下收益：

（ 1 ）资源池是云平台的重要组成部分，资源池管理主要用于对计算资源池、存储资源池、网络资源池等的定义和管理，以及资源的自动化安装与注册。通过云计算平台，可以实现计算资源部置流程的自动化。资源申请、设备申请等流程的自动配置和流转，大大缩短了环境准备、人员人场、应用软件安装等环节所需要的时间。即提升单台服务器利用率也可以通过快速添加服务器的方式实现资源池横向扩容。

（2）通过资源池分级管理、标准化的申请管理和自动化软件部署，大大降低了IT资源的部署时间。通常，部署一套环境所需的时间不会超过90min,而且可同时并行处理多项部署请求，大大减少了搭建环境所需的人力和物力，从而间接地缩短了软件开发生命周期，从某种意义上讲也节省了人力成本，同时也保证重要业务系统得到最优资源，例如、升级架构后日常跑批时间缩短60%以上。

（3）提升了服务质量管理。在使用中，我们按照资源的实际使用情况进行服务质量审核与管理，如果服务质量没有达到预先约定的服务水平协议要求，将进行动态资源调配，或者给出资源调配建议由管理者进行资料的调配，以满足服务水平协议的要求。最明显的效果就是系统故障做自动切换时，切换时间从原来的300S左右提升到120S。

（4）实时迁移技术是在虚拟机运行过程中，将整个虚拟机的运行状态完整、快速地从原来所在的宿主机硬件平台迁移到新的宿主机硬件平台上，并且整个迁移过程是平滑的，用户几乎不会察觉到任何差异。小型机虚拟化云资源池中，我们采用实时迁移技术实现宿主机服务器出现计划内或计划外的停机时，将虚拟机在线迁移至其它健康的宿主机，再对故障宿主机进行硬件维修，避免硬件出现故障时需要停机的问题。