某市人民医院数据中心存储平台升级改造方案

作者：陈星星

山西光远科技有限公司

第1章 需求分析

1.1 系统现状

随着医院信息化进程的快速推进，几乎所有的医院都在考虑优化和建设更专业的HIS、CIS、LIS、PACS等应用系统，并将其做为提高医诊效率、规范病历管理、提高医院核心竞争力的重要手段。在建设专业医疗应用系统的过程中，呈爆炸式增长的医疗数据的大容量承载和安全存放无疑是保障业务稳定运行的关键要素，如何保障医疗数据信息的存储安全、保证就诊业务的持续不间断运行已经成为各医院信息科主任关注的重中之重。

目前某市人民医院的IT基础架构经过多年不同时期的建设已经形成复杂的IT结构。各类应用以及相应的IT基础资源分别于不同的时间建设，其具体的性能也不统一，虽然暂时可以满足之前医院业务的需要，但是随着医院业务的发展以及提高业务连续性和简化管理的需要，现在面临着IT系统的改造需求。

1.1.1网络拓扑

某市人民医院IT系统现状如下：

如上图，某市人民医院经过多年的信息化发展，为了满足不同时间的发展需求，建设了好多业务系统，包括HIS 、CIL、LIS、PACS等核心业务系统，业务系统前端的服务器采用双机模式，而后端的数据存储平台都是单台设备，而且设备使用依旧，无法满足医院不断发展的需求，同时也无法保障数据的安全和可靠；

1.1.2存储配置

当前某市人民医院数据中心共配置2台存储阵列，详细配置情况如下：

1.1.3数据特点

某市人民医院核心应用系统（HIS、 CIS、 LIS）的数据主要分为基于数据库存储和管理，其数据有如下特点：

l  数据类型：系统多为结构化数据，少量非结构化数据

l  数据库： SQL Server

l  业务特点：数据量比较小、但存在并发，需要高IOPS

l  性能要求：同时访问人数多，并发性能要求高

l  可用性要求：不能停机

l  数据量：几十GB到几百GB

1.2 面临的挑战

某市人民医院存储设备HDSAMS2500、HP MSA2000存储都已经使用多年，存储设备可靠性、性能、扩展性等多方面都已无法满足业务发展需要，存储做为最关键因素，做为底层数据承载设备，它将担负着配合计算平台和各种应用系统并提供高可靠性和高性能的数据集中存放的服务和数据资源共享访问和分配的服务。

在整体IT平台中，数据存储层需要解决一下面临的问题：

1.2.1 核心应用在数据存储中面临的挑战

当前存储设备已使用多年，无论是存储设备可靠性、存储容量、性能以及

扩展性都已无法满足当前以及未来业务需求，最直观的体现为每天业务高峰期（早晨8:00-10:00）时，核心业务HIS系统会出现卡顿现象，影响正常的医务活动，因此存储升级势在必行。

1.2.2 核心应用业务连续性面临的挑战

以HIS为代表的核心业务系统所采用的HDS AMS2500、HP MSA2000存储设备已使用多年，而且核心存储设备均为单台，带来了数据可靠性与安全性双重压力，尽管这些存储本身内部通过RAID机制对存储磁盘做了一定的安全保障，但是当生产盘阵出现故障时会导致医院整个IT系统发生宕机甚至数据丢失，设备和架构的可靠性面临巨大的挑战。因此，这些核心系统的业务连续性面临很大的风险。

1.2.3 核心应用数据保护面临的挑战

现有核心业务系统针对核心生产数据的安全和保护措施不够健全，目前只有简单的数据备份，当备份的数据本身存在问题（逻辑错误、误删、病毒破坏等），不能及时的对其进行有效性和完整性的检验，而且备份方式比较落后：

首先，备份数据全部存储在应用服务器和生产阵列中，这样会存在当备份数据存储的服务器或是生产阵列出现故障后，会导致IT系统发生宕机甚至数据丢失，备份功能失效，备份数据也不能有效利用；

其次，备份采用SQL SERVER数据库自动的备份功能，没有其他备份软件或是专业的数据保护软件配合使用，一旦备份的数据本身存在逻辑错误或数据损坏时，不能得到及时的校验和测试，此时备份数据也就无任何意义。

1.2.4 原有投资的合理保护和利用

在系统升级，设备更新换代，新设备上线后，原有设备的淘汰必然会造成较大浪费，无形中降低了系统的投资回报。能否在系统升级后，对原有设备能否合理的利旧，提高投资回报也是所有医院所面临的重大挑战。

需要构建一套统一的存储平台，可兼容新存储设备以及利旧老的存储设备，在满足数据管理需求的同时降低存储的总体拥有成本；

第2章 方案设计

2.1 建设思路

2.1.1 新购存储

通过新购存储设备来升级替换当前HDS AMS2500存储平台，同时考虑避免存储孤岛，实现存储整合，将HPMSA2000一起替换升级，新购存储采用高可靠的存储控制器架构，配置更高性能磁盘，配置更大缓存等等，满足核心业务系统的性能需求；

2.1.2 “双活”存储平台

构建本地双活存储平台，以达到“故障自愈”，不需人为干预，当一台存储发生故障不可用时，应用自动转移到可以正常运行的部分，保障核心应用不受影响。，达到RPO = 0和RTO = 0；

2.1.3 数据迁移

新购存储替换现有HDS AMS2500和 HP MSA2000存储设备，尽可能保障数据迁移的安全可控，以及尽可能的减小数据迁移给业务系统带来的影响；

2.1.4 异构虚拟化

新购存储替换现有HDS AMS2500和 HP MSA2000存储设备，同时实现多业务系统数据的整合，同时保障原有存储设备的合理利旧。以对某市人民医院的投资保护。

2.1.5 多维度数据保护

通过快照、近线备份、远程复制等多种数据保护方式实现对某市人民医院的关键核心生产数据实现多维度保护。

2.2 设备选型

2.2.1 传统的磁盘阵列造成I/O瓶颈

医院的HIS 、LIS、 CIS等核心业务系统都属于高负载的交易型数据库应用，需要较高的IOPS响应，传统存储系统根本无法满足这些应用的数据存储速度需求，因此会给存储控制器提出过多的CPU需求，从而影响用户响应性和体验感。现有硬盘存储阵列之间的延迟将会带来性能瓶颈，即使数据库应用优化可以提高一些性能，但是也会因为硬盘存储系统无法足够快速地存取数据而带来性能瓶颈。

机械硬盘的速度太慢了，基于硬盘的传统系统会因为硬盘的快速存取时间而影响性能。存取时间是指从发送数据请求直到该请求处理完毕之间的这段时间。速度最快的硬盘在性能高峰期的存取时间仅为5毫秒。

2.2.2 全闪存阵列提供极致性能的同时支持异构虚拟化和双活等高级特性

对于存储系统，我们唯一能够了解的只有数据处理等待时间。随着处理器与硬盘存储系统之间的性能差越来越大，固态存储系统开始受到瞩目。由于固态存储系统是依赖记忆芯片来存储数据，因此能够提供前所未有的存取速度，从而缩小处理器与存储器的速度差。处理器的处理能力在过去10年增长了100多倍，而旋转磁盘的存储响应速度基本保持未变，只是提高了存储容量而已。固态存储器的I/O性能在过去10年虽然稳步提高，但是，随着更新的闪存系统变得越来越先进、性能越来越高并且成本越来越低，这无疑在告诉我们闪存阵列才是提高I/O性能的最佳工具

闪存是通过电子方式存储数据的非易失性存储介质，因此，它的速度及电源和空间效率都远远高于传统的机械硬盘，包括响应速度及扩展速度。通过消除移动部件造成的延迟，可以实现不到100微秒的存取速度，比HDD高出20多倍。

本项目不仅需要满足核心业务系统的性能、保障业务的连续性，同时还需要保护既有的投资，所以在设备选型时，存储设备必须能提供高IOPS、支持双活及异构虚拟化功能，这样的存储设备有吗？

首先是高IOPS，全闪存阵列有着天然的优势，通过配置SSD硬盘，高性能的SSD相比传统的机械硬盘，可以提供几倍于HHD的性能，全闪存阵列结合了高性能、低延迟、可靠性以及有效性等特点，粗暴式的提供高IOPS和低延时，实现极佳的快速响应；

其次，全闪存阵列是否支持双活和异构虚拟化功能吗，目前业界大多数厂商推出的全闪存阵列主要还是以解决性能瓶颈为核心，功能相比传统的存储设备较少，更不可能支持像双活和异构虚拟化这样的重量级的功能；

那么如何才能既提供性能，又满足业务连续性和保护既有投资呢？IBM推出了第二代IBM Storwize V5000系列产品，是一款中低端的全闪存阵列，IBM Storwize V5000 以 IBM Spectrum Virtualize™软件为核心，是一款集全闪存SSD、异构虚拟化、双活、在线压缩、精简配置、数据分层功能于一体的全新产品，可以提供更高性能、虚拟化功能和更高灵活性的存储解决方案；

本次方案选用IBM的V5030F作为核心存储平台，为V5000的升级版，在原有混合存储架构基础上，支持全部插入SSD升级为全闪存阵列，作为入门级的全闪存阵列使用，IBM V5030F不仅可以提供极致的性能，同时还融合了快照、复制、虚拟化、双活、数据分层、数据压缩以及动态数据迁移等功能和高级特性，是一款高性价比的整合方案，非常适合中型工作负载和低成本闪存方案选择；

通过配置SSD硬盘解决性能瓶颈的问题，通过虚拟化功能，满足保护既有设备的同时提高资源的利用率，通过双活功能，提供存储本地双活，满足核心业务连续性的需求。

2.3 总体架构  

2.4 详细设计

2.4.1 存储升级提供极致的性能

2.4.1.1 全闪存阵列性能提升

新购2台高性能虚拟化全闪存IBM V5030F（配置双控制器、64GB高速缓存、4个12Gbps SAS端口和8个16 Gbps FC主机端口、10块1.6TB SSD盘，组成9块数据盘+1块热备盘，同时配置外部虚拟化、精简配置、克隆、数据分层、快照、双活等功能软件许可）作为核心存储设备；

2台新存储用于进行生产中心存储设备升级，用于替换原有HDS AMS2500和HP MSA2000存储设备，2台V5030F建立集群同时对外提供服务（全闪存存储池可以提供极高的IO性能）；

从性能的量化指标上看，IBM V5030F存储性能相比现有HDSAMS2500和HP MSA2000）等存储将有超过数10倍的性能提升，说明如下：

1）IOPS即每秒处理IO数量是衡量存储性能的重要指标，本次推荐的IBM V5030F存储系统IOPS能力超过30万，而现有存储基本为几万IOPS，存储IOPS能力对比原有存储系统超过10倍提升；

2）存储缓存配置为整体性能的关键因素之一。本次方案IBM V5030F的缓存配置为64GB，集群模式下达到128GB，而现有存储缓存配置为几十GB，缓存性能对比原有存储系统超过数倍提升。

2.4.1.2 Easy tier为整个存储层加速

1）分层原理：

将存储资源池分为高性能、性能以及容量三种资源池，通过Easy tier存储自动分层技术，实时对应用系统的I/0进行监控和分析，针对突发性I/O压力高峰，快速将“热”数据迁移至闪存介质（SSD，访问频率低的“冷”数据将被分配到低速存储介质中，以提高对瞬间I/O高峰的读写响应速度，整个过程对于应用程序透明和动态迁移的，可最大化的利用存储池中有限的闪存资源，为整个存储层加速。可有效解决‘性能孤岛’现象；

2）分层规划：

为了更好的服务HISLISCIS核心业务系统，新增存储设备配置高性能的SSD和SAS硬盘，针对HIS医院信息管理系统的特点，医院早晨开门（8-10点）和下午（15-16点）门诊挂号、收费、检验等应用高峰期，根据对HIS、LIS、CIS应用系统数据的访问频度，自动地将这些高 IOPS 的数据迁移到新增存储的SSD硬盘上，等到以提高对应用系统I/O高峰的读写响应速度。

2.4.2 构建“双活”存储平台，保障业务连续性

2台IBMV5030F存储设备通过IBM的HyperSwap双活存储技术对医院核心关键业务构建本地双活存储平台，未来扩展到全院级业务系统；

HyperSwap的关键技术是Active-Active双活技术，该技术是通过RC（remote copy）技术和FC(flash copy)技术来实现，可以提供HA（high-available）的虚拟磁盘给主机使用，并提高整个存储系统的DR（disaster-recovery）。

HyperSwap双活技术让前端主机同时对一个hyperswap volume读写操作，而且一旦一个站点发生灾难了，另一个站点不需要任何配置会自动持续提供稳定的数据读写访问，自动failover/failback，如果volume间的链接断了，会自动tie-break。，也不需要特别的主机软件，使用常规的多路径软件即可。

两台存储是Active/Active模式，承载的业务数据是实时同步，这就好像给前端的应用安装了2个健壮的心脏，对上层的应用业务平台是透明的，满足“当一个存储发生故障时，另外一个存储可实时接管所有业务”，以实现业务的 “零”中断、数据的“零”丢失。

2.4.3 数据在线迁移，业务无中断

利用IBM V5030F提供Dynamic migration数据迁移功能，实现业务实时在线的动态数据迁移，完成对原有AMS2500和HP MSA2000存储数据底层卷迁移至新购IBM V5030F中，数据迁移仅需要将IBM V5030F接入现有SAN环境中，整个数据迁移过程是透明的，可在业务运行状态下在线迁移。

2.4.4 虚拟化整合、存储利旧

2.4.4.1 异构虚拟化，资源整合

利用IBM V5030F自身的External storagevirtualization异构虚拟化功能，整合现网中HDS AMS2500和HP MSA2000的异构存储，构建统一（Storage Pool）存储资源池。进行统一管理，合理利用，被V5030F虚拟化后，可直接继承5030F的各种特性。

V5030F加入SAN环境后，用户的SAN就转移到虚拟存储网络中了。所有的磁盘存储设备从各自为政变成由V5030F统一分配和管理，V5030F可以看成是SAN的一部分。在设备管理上，通过V5030F的虚拟卷管理功能，首先将所有的磁盘卷交给V5030F管理。管理员根据设备的特性，可以定义高性能组设备和低成本设备，并根据服务器的需要创建和分配存储。例如当某个服务器对存储空间的需求发生变化时，V5030F可以动态的在多个存储设备直接调配存储空间。如果某台服务器的I/O要求突然提高了，可以动态更换虚拟盘所对应的物理设备。例如，某服务器上的虚拟卷原来使用的是“低成本组”的磁盘设备，如果发现性能不够时，可以在不停应用的情况下，透明的将数据转移到“高性能组”。所有的迁移过程对服务器透明，因此不需要中止应用。异构虚拟化图如下。

2.4.4.2 保护既有投资，提高资源的利用率

1）       近线存储：利用存储复制技术进行生产数据拷贝到原有HDS AMS2500存储的近线备份。二级近线存储AMS2500上的克隆卷同时可作为单独的数据卷由查询服务器直接挂起使用，提供给报表查询及开发测试等业务使用；

2）       快照数据空间：在双活模式下，数据写入存储设备的同时建立快照，可以将快照数据存放原有的HDS AMS2500存储上，创建近乎即时的活动数据副本，该副本既可用于备份，也可用于并行处理活动；支持恢复损坏的数据；

3）       服务器虚拟机备份空间：前端的业务服务器均采用物理机，未来采用服务器虚拟化后，虚拟机文件需要定时的备份和保护，现有的存储设备可以作为服务器虚拟化后虚拟机文件的备份空间；

2.4.5 多维度数据保护

尽管核心应用后端的存储设备采用双活模式，意味着后端实时存放着两套一样数据，如果业务系统上出现逻辑错误、病毒感染以及人为误删除或其它原因造成数据丢失时，双活架构是解决不了这些问题的，需要通过如、快照、克隆、近线存储、容灾、双活等方式，保障核心业务数据的安全和可靠；

2.4.5.1 快照避免逻辑错误

需要通过快照功能，在数据同步的同时建立本地快照，快照数据可以存放在原有的HDS存储设备上，满足当生产数据出现逻辑措施是，通过快照数据可以快速恢复

2.4.5.2 本地近线备份

存储系统本身能提供RAID保护机制，可以100％的保证数据不丢失，但是这是在物理层面上，如果业务系统上出现逻辑错误或其它原因造成数据丢失，则RAID保护机制就没有办法恢复这些数据。因此在另一个物理存储设备上实现备份是非常必要的。根据对近线容灾备份方式的规划，设计二级的容灾备份存储，通过与生产存储的虚拟化融合，实现生产存储到备份存储的数据备份复制。

规划利旧原有AMS2500中端存储配置大容量磁盘作为二级备份存储，核心存储IBM V5030F通过虚拟化的方法与近线备份存储AMS2500连接并形成分级管理，这样就在统一的虚拟化存储池中通过卷拷贝将生产数据备份到备份存储上。当生产数据出现严重故障时，备份存储的备份数据可以透明的被生产服务器直接访问，实现了快速系统恢复；

第3章 方案可行性、经济性和安全性

本次方案选用IBM的V5030F作为核心存储平台，为V5000的升级版，在原有混合存储架构基础上，支持全部插入SSD升级为全闪存阵列，作为入门级的全闪存阵列使用，IBM V5030F不仅可以提供极致的性能，同时还融合了快照、复制、虚拟化、双活、数据分层、数据压缩以及动态数据迁移等功能和高级特性，是一款高性价比的整合方案，非常适合中型工作负载和低成本闪存方案选择；

通过本次方案不仅解决了原有系统存在的性能、安全、可靠性等问题，同时还对原有存储系统进行了合理的利旧，保护了既有的投资、简化了运维、提升了管理效率；

本次解决方案采用的核心存储相比较其他友商的全闪存阵列和高端存储，只需要中端混合存储的价格，即可享用全闪存阵列和高端存储的配置和高级功能及特性。

第4章 方案要点及收益

4.1 更高的性价比整合方案

IBM V5030F作为IBM入门级中低端的闪存阵列，提供高性能的基础上，同时兼顾性能、虚拟化、双活等高级特性，提供了极具性价比闪存整合方案。

某市人民医院全新系统建设中包括了大量业务数据需要统一承载，因此系统建设的关键是如何保证存储平台能够提供充分的数据吞吐、数据安全可靠、资源合理利用等综合因素，本次方案推荐采用两套IBM V5030F存储构建双活存储平台，通过虚拟化迁移将原有HDS AMS2500和HP MSA2000存储数据底层迁移至新的IBM V5030F双活存储平台，对现有存储进行替换升级。

实现零恢复点（RPO=0）和零恢复时间目标（RTO=0）是一个全新的云计算应用需求，消除维护窗口可以最大限度提高某市人民医院生产力。

通过IBM V5030F具有的存储虚拟化功能，存储真正成为了一个虚拟设备，不再依赖于具体的物理设备，类似于服务器的虚拟化一样，成为了一个存储资源池；在存储物理设备更新换代的过程中，虚拟的存储设备永远在线，业务永远在线。

同时利用IBM V5030F内置的外部存储虚拟化技术，将HDSAMS2500和HP MSA2000等原有存储进行虚拟化整合构建统一存储资源池，并利用存储卷迁移技术将生产数据克隆备份至原有HDS AMS2500存储中，构建近线备份平台，构建长久备份平台，更好的达到了存储利旧，最大化提高投资回报率；

1)、IOPS即每秒处理IO数量是衡量存储性能的重要指标，本次推荐的VSP G600存储系统IOPS能力超过60万，而现有存储基本为几万IOPS，存储IOPS能力对比原有存储系统超过10倍提升；

2)、存储缓存配置为整体性能的关键因素之一。本次方案建议VSP G600的缓存配置为128GB，而现有存储缓存配置为几十GB，缓存性能对比原有存储系统超过数倍提升。

4.2 存储虚拟化简化管理，提高投资回报

IBM V5030F 外部连接的存储系统进行虚拟化的独特功能，可为异构存储创建单一的异构存储池。这可以简化存储管理、提高利用率和效率，改善服务水平、简化数据迁移，并可帮助企业满足监管达标要求

IBM V5030F通过异构存储虚拟化的技术，可以使用统一的管理平台实现对IBM V5030F内部和外部存储资源的统一管理，统一分配，可以按照应用系统的性能要求分配相应的存储资源。从主机的角度看，IBM V5030F内部存储资源和外部存储资源功能完全相同，而内部和外部存储资源之间的数据交换可以通过存储系统IBM V5030F本身的数据复制和数据迁移软件来完成。

4.3 核心应用生产数据本地近线备份

一般来说备份当然可以采用磁带库或虚拟磁带库的备份模式，但这种传统备份方式在当今面临着一系列挑战。

磁带库或虚拟磁带库备份方式对于小数据量的备份效率暂时可以接受，但对于医院系统数据未来将面临着爆炸性增涨达几十TB的需求，随着业务数据的不断增加，磁带库或虚拟磁带库备份的效率问题将会非常突出。一般来说当数据备份量超过10TB时，备份时间将超过10几个小时，而如果数据达到20TB以上，采用磁带库或虚拟磁带库的模式基本不可实施。

因此规划利用存储虚拟化解决方案，在数据分级管理的同时，利旧原有AMS2500中端存储配置大容量磁盘作为近线备份存储，定期将生产数据从核心存储上复制到二级备份存储上。

存储系统本身能提供RAID保护机制，可以100％的保证数据不丢失，但是这是在物理层面上，如果业务系统上出现逻辑错误或其它原因造成数据丢失，则RAID保护机制就没有办法恢复这些数据。因此在另一个物理存储设备上实现备份是非常必要的。根据对近线容灾备份方式的规划，设计二级的容灾备份存储，通过与生产存储的虚拟化融合，实现生产存储到备份存储的数据备份复制。

规划利旧原有AMS2500中端存储配置大容量磁盘作为二级备份存储，核心存储IBM V5030F通过虚拟化的方法与近线备份存储AMS2500连接并形成分级管理，这样就在统一的虚拟化存储池中通过卷拷贝将生产数据备份到备份存储上。当生产数据出现严重故障时，备份存储的备份数据可以透明的被生产服务器直接访问，实现了快速系统恢复。

4.4 更灵活的扩展保障可持续发展

从数据平台可持续发展角度，以IBM V5030F为核心构建的统一存储平台具有更好的可持续发展特性：

虚拟化存储整合是构建统一存储平台的最佳途径，本次推荐的IBM V5030F存储系统已内置存储虚拟化技术，可将现有存储整合，构建统一存储资源池，并可实现未来第三方存储的开放性扩展。

随着业务的发展，对存储性能及容量的需求也将随之增大。IBM V5030F存储可在线完成存储磁盘、缓存、端口的在线扩容。并可实现在线完成固件升级、部件更换。