摘要：

随着医院高质量发展的深入推进，数据资产的价值越来越大，医院数据中心转型升级越来越迫切，存储管理的基本问题依然突出。本文在应对医院PACS系统存储建设方面，分享了架构升级的实施案例，以及选型经验和设计方案，并分析了项目建设效果和实施运维经验。希望能对同行们有借鉴和参考价值。

一、概述

面对新技术与新业态的挑战，医院数据中心的转型升级和业务多元化，已成为医院智慧化建设的发展趋势，合理规划存储设备，统一部署存储资源池，打造坚实数字化底座，构建新技术与传统医疗服务相融合的数据存储服务模式，也变为医院智慧化建设的必然要求。为了应对医院PACS存储系统支撑未来业务发展的容量和性能需求，我院计划选型采购高端存储，同时接管原有不同品牌型号的存储及上层业务，将新老存储资源配置为多级虚拟化存储池，使得新采购存储资源能无缝扩展，与现有存储资源融合在一起，更好的满足业务需求，服务患者。

二、项目背景与需求分析

医疗数据是医生对患者诊疗和治疗过程中产生的数据，包括患者基本数据、电子病历、诊疗数据、医学影像数据、医疗管理、经济数据、医疗仪器设备和仪器数据等。其中有结构化数据，也是我们常见的关系型数据；也有电子病历等半结构化数据和常见的自然语言文本、影像数据、各类音视频等非结构化数据等。各类数据之间关系复杂，关联度高，响应速度要求也不尽相同。但随着医院信息化水平的不断提高，医疗数据也越来越丰富。其中，医学影像数据几何级数增长的规模也凸显出来，医院中有超过80%的医疗数据来自于医学影像。

本项目需求源自医院原有PACS系统影像中心存储升级，系统原存储空间不足，医院每天新增影像量300GB，每年约100TB，现网影像数据有近500TB。因此，为解决影像数据全部在线、集中存储等难题，决定对现有的SAN存储系统进行扩容升级。

三、存在的难点与问题

1.容量/性能扩展难度大。当前医院现有的先进医学影像设备，影像分辨率高，导致整体数据量激增，有些设备每年单台产生近10TB的影像数据。同时，医生对于患者医学影像数据的应用和处理等多样化需求也变得越来越迫切，按照医院要求，影像数据全部在线，以方便医护人员的医疗和科研应用需求。持续的存储扩容，频繁的设备更新、硬件升级，给医院造成巨大的成本负担；在医院业务高峰期，门诊、临床医生同时阅片时，又对存储系统产生高并发访问，阅片等待时间更长，存储的性能也影响了医疗服务的效率。

2.数据迁移难度大。医疗数据长期在线，尤其是影像文件，都是小文件，几十KB到几百KB，小文件存储和数据迁移一直以来都是存储系统面临的挑战，迁移时是否中断业务，在不同品牌不同架构的存储之间进行数据迁移，迁移工具的选择，是利用存储自身的软件还是利用PACS系统迁移，迁移时间长短等问题都成为影像数据迁移前要考虑和研究的问题，也是存储选择利用的难点。

3.统一资源管理。医院现有PACS系统应用在放射科、超声科、全院影像中心等多个科室中，各个科室单独采用不同架构的存储，造成存储烟筒式建设。同时，对不同类型数据又需要进行分层分级管理，热数据存在在线存储中，冷数据存在近线存储中，还有存在离线存储中的。因此对于不同存储系统之间的数据难以做到统一管理，同时也给数据迁移工作增加了难度，使得存储资源无法统一分配和使用，资源利用率低，容易造成资源浪费。

四、存储选型相关经验

面对医院海量的医疗影像数据，可以选择集中式的SAN或NAS存储，也可以选择全分布式、去中心化的软件定义存储。无论选择哪种类型的存储，都需要结合实际应用场景从以下几个方面进行选型和思考。

1.容量。集中式存储多由一台或多台控制器，连接多个磁盘柜组成，由控制器统一对外提供FC、ISCSI等存储接口，其扩容也主要依托增加磁盘柜，属于垂直扩展模式，部署结构相对简单。分布式存储由多台X86服务器组成，每个服务器节点既能够存放数据，也能够提供数据处理能力和存储接口，其扩容主要依托增加服务器节点实现，利用多台服务器节点分担存储负荷，属于横向扩展模式。

PACS系统在医院产生大量的影像文件，影像文件小、数据总量大，在存储系统容量选择上，应根据医院影像数据具体存储要求进行计算，是全部影像数据在线，还是分级存储，可以离线，有需要时再做数据恢复，得到的存储容量是不同的。同时，根据扩容需要，在预算及空间充足又考虑传统技术架构时，可选择集中式存储，简单易用，考虑经济型又有足够技术能力支撑时，可选择分布式存储系统。

2.性能。集中式存储多控制器为紧耦合，通过PCIE总线\Infiniband\RDMA网络互联，共享磁盘阵列和缓存，I/O路径较短，访问延迟小。另外，近年来全闪存阵列（AFA，All Flash Array）发展迅速，具备极致的IOPS、极低的延迟和极高的带宽，比较适合于数据库、虚拟化平台、大数据分析等数据随机访问业务，性能提高到机械硬盘存储的100倍以上，有效解决了IOPS性能瓶颈。

分布式存储为X86服务器+存储软件的架构，服务器节点之间通过高速以太网或者Infiniband互联，通过分布式存储软件将节点本地的存储盘虚拟成一个大的存储资源池，服务器节点数量一般不受限制，可扩展至上千个节点，能够提供块、文件、对象存储协议。由于架构松散，保证数据一致性开销大，其IO延迟要高于集中式存储；因多个存储节点能够同时提供读写服务，在节点数众多时吞吐量要高于集中式存储。

本次我院存储系统升级，考虑到PACS系统版本较老，未改变原有集中式存储架构，同时也考虑将原有的集中式存储实现整合统一管理，因此，升级为多控制器并发加速，且控制器间采用PCI-E 3.0总线互联，负载均衡，使存储系统性能较升级前有了较大提升。

3.高可用性。对于一个系统而言，可能包含很多模块，比如前端应用，缓存，数据库，搜索，消息队列等，每个模块都需要做到高可用，才能保证整个系统的高可用和业务的连续性；存储系统亦是如此，在系统稳定情况下，能够确保高可用，但在故障情况下，仍然能够保持可用性和数据一致性，需要协调参与的各个模块，确保同步更新，又将这些模块紧密耦合在一起了，因此存储的架构设计要实现一致性和可用性之间的平衡。存储的各类安全机制，主要包括保障存储系统的CAP，Consistency（一致性）、Availability（可用性）、Partition tolerance（分区容错性），集中式存储顾名思义存储在同一存储设备内，能够保证主备数据的强一致性，而分布式存储，由于数据读写分摊到多个节点处里，因此存在因各节点的信息不一致而导致数据不完整和读写出错的可能。在数据保护方面，集中式存储多是通过RAID组实现数据安全，分布式存储通过多副本、纠删码等机制实现数据备份。

基于集中式存储的稳定性，同时对数据保护也足够全面，数据高可用性在很大程度上得以保障。对于分布式存储来说，自身架构就存在着数据一致性的不确定性，随着存储规模的扩大，分布式节点越来越多，硬件风险点也是逐渐扩大的，存在数据安全的隐患，因此重要业务系统的存储，在此次升级中也更倾向于集中式存储。

五、存储架构实践与技术方案设计

存储架构选择与技术方案设计，主要根据业务场景，考虑三个方面问题：

1.高效存储。医院各类医疗数据，在存储性能和容量之间达到平衡，既能满足存储空间需要，又能满足业务性能需求；
2.融合共享。多种医疗数据存储后的实时共享，各类型数据统一存储和管理，各类型存储设备之间的利旧共享和统一管理等；
3.业务连续。存储的架构对于各部件失效的容忍能力、处理能力，实际上是存储系统设计的重要的分水岭，而医疗行业、医疗业务又具有特殊性，各个应用系统需要7*24小时实时在线，保障医疗业务的平稳运行。

以上问题，在存储架构设计时，都需要深入考虑和测试，各类存储架构对比如表1所示。

本次存储升级，基于传统存储系统的稳定性和PACS业务系统可用性两个角度考虑，仍然沿用集中式的SAN存储，来进行影像数据的保存、归档，选择华为OceanStor Dorado高端存储块协议，通过数据分级特性，将SSD，SAS和NL-SAS三种类型磁盘分别对应高性能存储层，性能存储层和容量存储层，每个存储层可以单独使用，也可以根据需要组成存储池提供数据存储空间；通过内置的异构虚拟化功能，接管国外主流厂商存储阵列，整合成统一的资源池，实现了资源统一管理、服务自动化编排。 同时，本次升级也采购了小容量的OceanStor 9000分布式存储，进行医院其他数据的归档存储，在分布式存储应用方面也进行了一些尝试。如图1所示。

六、实施运维相关经验分享

1.存储所有功能模块，应确保轻量级用户态模式，减少用户态与内核态的直接交互，以期降低对内核的影响。一旦进程发生故障，可以在用户态进行进程重新拉起，进行轻量级的故障恢复，不必进行控制器复位操作，从而实现系统的I/O连续、不中断，也会提高系统稳定性。

2.OceanStor高端存储系统所有组件与通道均为全冗余设计，无单点故障，确保端到端数据一致性保障。数据在存储系统传输中，经过了多个部件、多种传输通道和复杂的软件处理过程，其中任意一个环节发生错误都可能会导致数据错误，OceanStor存储各组件与通道均可独立完成故障检测、修复和隔离，确保系统稳定运行。

3.存储的数据完整性和安全性，必须做到万无一失。在高端存储使用上，至少要具备快照、克隆、备份等多位一体的技术手段。在不中断正常业务的前提下，快速得到一份与源LUN一致的数据副本，对副本的读写操作不再影响源数据，解决在线的备份、数据分析、应用测试等问题；克隆也是快照技术的一种，是源数据在某个时间点的完整副本，是一种可增量同步的备份方式。

4.存储容灾架构方面，主要从数据可靠性和业务连续性[g(1] [李2] 两个方面，建立快速高效的灾难恢复机制，在短距离（<300公里）场景下，可以考虑存储双活和同步复制技术，免网关双活，减少了IO路径，降低时延，减少故障点，提高系统稳定性；在远距离场景下（>300公里），考虑异步远程容灾技术，利用高性能磁盘阵列的高级数据复制功能，实现超远距离的数据远程复制；而对于最关键的业务，业务连续性和数据安全性要求非常高的应用系统，考虑两地三中心的存储方案，在生产系统机房做双活高可用，同时在异地做远程数据容灾，两个数据中心互为备份，且都处于运行状态，实现业务故障后自动切换到另一个数据中心，解决灾备业务无法自动切换的问题，最大程度确保数据可靠性和业务连续性，也提高了存储系统的资源利用率。

5.数据迁移。数据迁移会对业务造成一定影响，一定要在业务空闲阶段做数据迁移操作。在迁移前期要跟存储厂商确定分工界面，双方共同制定实施方案，其中，厂商工程师负责准备迁移工具和针对方案可行性、业务中断时间、数据安全性和整体操作风险等方面进行风险评估。评估风险及测试，信息科工程师负责备份数据和检查源设备、目标设备及网络的运行状态；若使用数据迁移工具，最好单独部署在迁移服务器上，数据迁移到目标存储后，要检查并确认数据一致，业务系统启动后能否正常运行。在数据迁移过程中，如果出现网络故障、目标存储或源存储故障、数据不一致或业务系统无法运行等情况，最好停止任何现场实施操作，配合存储方专业的数据工程师进行操作。

6.运行维护。了解掌握存储节点上的各类指示灯，以及状态说明，通过检查指示灯，可以了解设备的运行状态。同时，可通过存储自带的管理软件，检查业务具体的运行状态，登陆系统后，查看存储基本信息、IOPS、文件系统读写带宽等各项性能、各节点的服务信息、状态信息以及告警详细信息等，在故障发生后，可通过管理软件收集和反馈存储设备信息、组网信息日志，使运维人员快速定位并排除故障，避免业务中断或数据丢失。

七、项目实践效果

1.影像数据自动分级，使用2PB大容量SAN存储，多控扩展文件系统架构，满足海量医疗影像大容量需求；使用不同性能的磁盘配置，管理员可在存储内实现热、次热数据、冷数据的自动分级，医院PACS系统不用做改动，在日常使用过程中，简化了在线数据的管理。存储部署功能应用如图2所示。

2.原有存储利旧，整合异构存储，建立虚拟化存储资源池，并通过卷镜像技术使异构存储系统之间组成冗余备份关系，进行统一管理与运维。数据迁移流程如图3所示。

本次数据迁移，主要利用OceanStor存储的异构虚拟化功能实现在线接管旧有存储以及上层的业务，新老存储资源将被配置为多级虚拟化存储池，新存储资源将能够无缝扩展，与现有存储资源融合在一起。本次主要是PACS业务数据迁移，以华为OceanStor存储的SmartMigration特性作为迁移方案核心技术，以华为的SAN存储（目标存储）为核心，首先组建FC网络，和原有块存储（源存储）组网，通过在SAN交换机的ZONE规划，实现目标存储和源存储的逻辑连接。再利用目标存储的异构接管特性，完成对源存储LUN的接管，并在此处正常恢复业务，最后利用目标存储LUN迁移将异构接管的外部LUN数据迁移至目标存储池。数据迁移完成后，一致性分裂目标卷，保证数据一致性。技术路线图如图4所示。

在存储测试过程中，除集中存储外，也对对象存储进行了测试，与PACS系统厂商配合进行了修改，在存储中创建私有用户，要与系统用户保持一致，创建后在管理平台添加存储的公钥和秘钥，然后根据需求创建桶，在存储分配桶后，对应的PACS系统在启用S3存储协议方式存储影像时，必须先要对系统进行升级改造，安装S3模块，配置好S3协议，通过超链接访问存储，会自动识别到已在对象里建的不同桶，就是实际的存储位置。

八、总结

1.存储的选择，应面向业务系统需求，面向应用进行优化，根据不同的数据，选择不同的存储；优选高性能、易运维、易共享和高可靠的数据存储；

2.存储成本问题也要对应有所考虑，并不是所有医院都会为高端阵列存储设备买单。因此，采用性能和扩展性更高，TCO成本更经济的分布式存储也会成为越来越多医联体或大型医疗机构的考虑方案；

3.信息存储安全是存储系统的底层基础，未来应对大数据挑战，在存储环境中，一套系统能否完成数据从存储、查询、归档、分析的全生命周期管理，以及如何从海量数据中提取出价值，也是值得思考的问题。