医院信息化的建设已经持续了很多年了，为了满足业务需求不断有新的业务系统上线，不同业务系统之间的数据共享采用的是一对一的接口模式来实现的，这就造成了开发过程中的重复开发，数据重复共享，而且日后的维护和升级工作也将变得非常复杂，医院信息集成平台建设势在必行。医院信息集成平台就是要把独立的HIS、EMR、PACS和LIS等应用系统进行有效的整合，建设CDR，实现信息系统的互联互通和信息共享，提供统一的医疗数据访问服务。随着医院信息化建设，系统之间的数据交互也会越来越多、越来越精细，然而要让信息集成平台作为医院的综合平台，必须要可持续、稳定、数据可用。医院信息集成平台建设的基础来源于底层存储架构平台的有利支撑，目前市场上存储架构选择路线主要包括集中存储和分布式存储两种技术路线。

集中存储具有稳定可靠性好，数据服务丰富，如有良好的数据一致性存储容灾解决方案，接口标准兼容性广泛，性能强等优点。同时存在着扩展性等方面的限制。分布式存储，扩展集群规模大，硬件成本低廉，同时也存在着单节点性能低，延时高 , 数据弱一致性，标准不统一且非常依赖网络环境和带宽，如果网络发生抖动或者故障，都可能会影响分布式存储系统运行。分布式存储和集中式存储主要区分可在业务类型上，分布式存储主要的特点在扩展性和高并发下的聚合带宽上，集中式存储主要特点在IO处理能力和延迟上，所以医院信息集成平台底层存储架构路线的如何选型？是尤为重要的，就需要根据自己的业务量、业务特点等方面进行评估考量。以下的内容来自多家医院同行专家及EMC的专家进行交流总结汇总。主要通过三个方面进行整理总结：首先：医院信息化采用分布式存储建设还是集中式存储可以从运维角度，适用性，成本考虑；其次医院可以从技术层面考虑集中式和分布式存储的选型；最后通过两种存储架构路线存储扩容、容灾以及业务承载相关问题进行参考。通过这三方面就可以比较好的让医院信息科同行在存储架构选型给与一定的参考。

一、医院信息化采用分布式存储建设还是集中式存储可以从运维角度，适用性，成本考虑。

1、分布式存储问题？

随着医疗行业信息化建设程度的加深，以医疗影像文件为代表的非结构化数据量逐年攀升，这对医院PACS系统的数据容量以及性能提出了挑战，底层的数据存储愈发受到业内关注，PACS需要过硬的存储能力为其提供支持。PACS系统中， 病人一次检查会产生多张影像，放射科医生阅片时，阅片终端需要加载这些影像，医生播放或拉拽病人影像进行阅览时，阅片终端会按照拍摄顺序一张一张地依次读取影像。如果从存储读取某张影像时延过高，医生会有卡顿的感觉，会影响阅片体验，严重时会极度影响工作效率，也会造成患者的等待时间变长，而在业务高峰期，上百位门诊医生、临床医生同时阅片时，性能问题会更加严重。PACS影像数据的特点是图片数量多，文件小、写入带宽要求高。针对这个需求，请专家提出一个好的思路！

嘉宾：xiaofu 高级工程师 , 福建医科大学附属第二医院
系统卡顿取决于木桶的最短板，存储、网络、架构、软件等等都会影响。应该综合分析全面提升。

嘉宾：Dell_zhangcan 架构师 , 戴尔科技
我们的实践经验是在线 PACS 影像数据放在全闪存储上，历史影像数据放在全闪分布式存储上（ Isilon ）。这样不管是放射科还是业务科室调阅图片，不管是调阅在线数据还是历史数据都能在 3-5 秒内打开患者影像数据，医生反馈非常不错。某省最大的三甲医院就是采用这样的解决方案。

2、医院信息集成平台采用集中式存储或者分布式存储，两者在运维上的差异有哪些？

嘉宾：xiaofu 高级工程师 , 福建医科大学附属第二医院
只从医院信息科的角度上来讲分布式存储运维更加简单。常见分布式存储均有简单明了的UI操作界面，巡检运维、水平扩容、硬盘替换只要界面上点击操作即可。

传统集中式存储交换界面并不友好，场景信息科运维只能看指示灯。

嘉宾：czheczhe 某医疗行业 , 某医疗
1）对于分布式存储在监控上，要采用分布式监控软件来采集各个节点的数据，节点多的时候，监控范围较大。出现故障时， 要判断节点与节点间的相互作用，诊断难度加大。
2） 组成分布式系统的所有计算机，都有可能发生任何形式的故障。任何在设计阶段考虑到的异常情况，一定会在系统实际运行中发生，并且，在系统实际运行中还会遇到很多在设计时未考虑到的异常故障。所以，除 非需求指标允许，在系统设计时不能放过任何异常情况
3）在整个分布式系统中，如果某个角色或者功能只有某台单机在支撑，那么这个节点称为单点，其发生的故障称为单点故障，也就是通常说的SPoF（Single Point of Failure），避免单点而对关键就是把这个功能从单机实现变为集群实现。

3、医院这类数据库，是否适合分布式存储？未来信息科需要做哪些准备？

我们知道，分布式存储相对集中存储，建设成本要低些，系统的并发性要好些，不过，集中存储和分布式存储各有其优缺点，我所关注的是，我们医院的操作系统Oracle 11,还有SQLSEVER 2008，对于这类数据库，是否适合分布式存储？如果今后医院业务发展，分布式存储是一个趋势，要作哪些准备？

嘉宾：xiaofu 高级工程师 , 福建医科大学附属第二医院
1.传统数据库是可以部署在分布式存储上的。
2.系统并发性好不代表可以给传统数据库带来更好的性能，分布式存储存在着延长性相对存储存储更高，更不稳定。
3.基于第2点可以说传统存储更适合于数据库，但是要综合考虑业务量、数据量、并发量、经济成本，延长相对较高不代表不能满足业务需求。
4.分布式的存储更大是横向的便捷扩展，更适合于大容量的扩展。
5.新一代的医院建设需要先认清自身IT架构和业务构成的设计目标（如要求性能更多，还是要求降低运维压力更多）。然后积极的拥抱变化，再结合使用场景进行理性的选择、谨慎地规划，发挥价值。

嘉宾：Dell_zhangcan 架构师 , 戴尔科技
医疗行业的数据库类应用无论是集中存储还是分布式存储都能很好满足需求，因为业务规模和其他行业比实在太小了。戴尔科技有不少省级三甲医院将 Oracle 、 SQL 数据库部署在分布式存储上的案例。反而是影像类应用（ PACS ，影像 AI 等），才需要认真考虑是选择集中存储还是分布式存储，或者集中 + 分布存储。未来信息科需要在科研平台建设，影像云平台建设、创新应用（如基于微服务架构的应用）平台建设上做更多的准备。

嘉宾：jakeyyu 系统架构师 , 三甲医院
未来对于多区域，多院区，跨区域医疗联盟等的发展，分布式存储可能会更加收到青睐。这是由于分布式存储具有自带容灾手段，支持跨区域多院区部署等优势。对于信息科的发展而言，需要紧跟形势，对于新技术的学习和应用需要更加关注。

4、从运营成本考虑，请问采用集中存储还是分布式更优？

医院信息集成平台建设的底层支撑存储架构平台，从长远运营成本考虑，请问采用集中存储还是分布式更优？

嘉宾：Dell_zhangcan 架构师 , 戴尔科技
首先要明确如何定义运营成本，是电力消耗 + 机房空间占用，还是品牌 + 故障率 + 电力消耗 + 机房空间占用 + 数据保护措施 + 运维成本 + 售后便捷性。
戴尔科技的新一代集中式全闪存储 PowerStore 支持 4:1 的在线数据消重，支持端到端的 NVME ，支持横向扩展，在电力消耗，机房空间占用和可扩展性上都不比分布式存储差。我们也有专业的存储工程师帮助客户计算存储的 TCO 成本。关于运营成本问题可以直接同戴尔科技在当地的销售或技术团队联系。

嘉宾：xiaofu 高级工程师 , 福建医科大学附属第二医院
从整体的架设和规划上来说首先规划者应该认清自身IT架构和业务构成的设计目标。
再结合使用场景进行理性的选择考虑建设成本，如果单纯不考虑设计架构，PK容量、性能、运维难度等经济价值那么分布式拥有更多廉价的X86服务器、开源软件、随着容量的扩大，边际成本肯定更低。

嘉宾：czhe 某医疗行业 , 某医疗
对于小规模的医院技术人员相对较少，数据增量可控，这样集中存储的运营成本更低一些，对于大型三甲医院数据增量较大、采用分布式存储可扩展性更强，运营成本相对较低

嘉宾：lhs0981101410 系统运维工程师 , 中银保信
分布式存储具有规模效应，数据量越大，单位成本越低，但是也需要考虑分布式的维护成本

二、从技术层面考虑集中式和分布式存储的选型

1、医院信息集成平台适合集中式存储还是分布式存储，存储架构选型需要注意哪些方面？

嘉宾：czhe 某医疗行业 , 某医疗
分布式存储和集中式存储主要区分可在业务类型上，分布式存储主要的特点在扩展性和高并发下的聚合带宽上，集中式存储主要特点在 IO 处理能力和延迟上，所以可以根据自身的业务特性对存储进行选择。

嘉宾：Dell_zhangcan 架构师 , 戴尔科技
从理论上说上层应用架构决定下层基础设施架构，采用传统数据库（如 Oracle ）的应用适合采用集中式存储，采用分布式数据库（如 MySql ）的应用适合采用分布式存储。另一方面，集中式存储的优势在于低时延，分布式存储的优点在于高弹性（高扩展性）。表明上看，存储架构选型需要根据应用特点和存储特点来确定，但这容易导致医疗行业的存储架构选项走入重视集中式还是分布式，重视 IOPS 、时延、节点扩展规模的误区。因为从医疗行业的应用特点和应用规模来看，无论是传统应用（ HIS ），还是新兴应用（集成平台、 CDR ），在集中式存储和分布式存储上都运行得非常好。这是因为医院的数据库应用几乎没有跑到 10 万 IOPS 以上，也很少有 10TB 以上的数据库。即使是数十 TB 的数据库，和互联网、金融、运营商等行业的应用比较起来，也是非常小的。简单来说，医疗行业的应用不管是传统应用（ HIS ， PACS ），还是新兴应用（ CDR 、数据中台）的规模都太小，十万以下的 IOPS 、 5 毫秒以下的时延要求、 20-30 个左右的节点规模，无论是集中存储还是分布式存储都能很好支撑上层应用。存储除了支撑业务运行外，其上保存的是数据，是医院最重要的资产之一。因此“医疗行业”存储选型考虑的指标有以下几点：

存储的稳定性和可靠性；
存储配套的数据保护解决方案，如由同一个厂家提供的同存储紧密结合双活 + 连续数据保护 + 备份解决方案；
运维的响应时间、专业程度和便捷性。如果存储是 A 厂家，连续数据保护是 B 厂家，备份是 C 厂家。这肯定会大大影响故障排查效率，增加运维负担。同时售后服务是原厂还是合作伙伴提供，也对运维带来明显的影响。从医院实践看。很多医院选择的是集中存储 + 分布式存储的架构，有时也成为双模 IT 架构或者稳态 + 敏态架构。这样既能确保传统应用获得高可靠、高性能，又能确保高弹性，高灵活性。
再补充一点，医疗行业的数据库类应用无论是集中存储还是分布式存储都能很好满足需求。反而是影像类应用（ PACS ，影像 AI 等），才需要认真考虑是选择集中存储还是分布式存储，或者集中 + 分布存储

2、集中式的全闪存+分布式对象存储+容灾VS分布式全闪存+分布式存储两种方案如何选择？

集中式的全闪存+分布式对象存储+容灾和分布式全闪存+分布式存储3000左右床位的医院怎样选择组合方案更合适？

嘉宾：xiaofu 高级工程师 , 福建医科大学附属第二医院
我院建设经验上面来说：
1.传统数据库采用集中式的全闪存（传统价格）提供稳定的io；
2.分布式对象存储用于文件存储、图片存储（PACS）提供零散文件高并发和横向扩展；
容灾采用分布式存储，降低成本提供高性价比的IO和大容量

嘉宾：Dell_zhangcan 架构师 , 戴尔科技
分布式对象存储的优势之一是可以基于它建设多活数据中心，而分布式全闪存 + 分布式存储最多只能建设双活数据中心或两地三中心容灾平台。因此如果您有三个院区或更多到底院区，同时想建设多活数据中心，那么需要选择对象存储。戴尔科技也确实通过对象存储帮助某三甲医院建设了三活数据中心的。

针对您的问题，分布式全闪 + 分布式存储可能更适合，因为从您的描述中没有看到要使用对象存储的需求。

嘉宾：coldwind21 系统运维工程师 , 汕头市中心医院
趋向于 传统数据库存储 采用传统架构集中式全闪存储 满足性能需要对于pacs 等数据库，更趋向于 传统+云 模式，云影像、云胶片可以满足

3、集中与分布存储各有利弊，医院是否应混合部署？不同业务系统应如何判断部署方式？

集中与分布存储各有利弊，医院是否应混合部署？不同业务系统应如何判断部署方式？

嘉宾：trust520 网络工程师 , 奔腾
要看业务系统的规模，一般业务系统规模较小且存储的容量增长速度可预测采用集中部署性能更好。规模较大时，分布式存储会有优势

嘉宾：Dell_zhangcan 架构师 , 戴尔科技
从建设实践看，当前选择混合部署的医院还是占大多数。因为很多医院看重 HIS 系统的稳定性和高可用，而保留了物理服务器 + 集中存储的架构，然后将 HIS 以外的绝大多数应用虚拟化。应用虚拟化后，存储的选择是以虚拟化平台的架构选择为基准，而不是应用的架构了。当前服务器 + 虚拟化 + 集中存储的架构完全能满足医疗行业各种分布式应用的需求，包括 Hadoop 。

虚拟化平台选择集中式存储时，存储无缝扩展问题可以采用存储资源池方式解决。如采用戴尔科技的双活网关 VPLEX+ 集中存储的方式建设存储资源池和双活数据中心，在 300 家以上的三甲医院得到了应用。

4、分布式存储本身架构的缺陷，还是整体云端架构设计的问题

医院使用云端承载业务系统，云端使用openstack+ceph，作为底层架构，最初云端都用服务器插满硬盘加ceph分布式存储，但在使用中，一些d读取量大的服务在高峰期明显出现卡顿，经更换闪存存储后，才改善，使得对于分布式存储的使用感觉存在隐患，不知道这是分布式存储本身架构的缺陷，还是整体云端架构设计的问题？

嘉宾：zhuyifei 云计算运维 , JiNan
根据我个人理解，题目描述内容是：现有SAS接口HDD（服务器）和SATA接口SSD（CEPH存储）储存数据，大量读遇到卡顿的问题。现更换为NVMe接口SSD（全闪存存储）储存数据，大量读的卡顿问题得到改善。所以题主对CEPH（是否发挥SATA接口的SSD）的读数据性能提出质疑。从现有公开资料看，NVMe接口SSD读写速度比SATA接口SSD存在真实的优势。因为对服务器的稳定性没有十分的信任，我会优先考虑让服务器承载计算资源，让存储设备承载磁盘数据存储。

三、最后存储架构路线选择可以再通过存储扩容、容灾以及业务承载相关问题进行参考

1、后期扩容相关问题的比较？

集中存储后期加服务器配置没啥要求，分布式存储后加服务器是不是有要求限制？

嘉宾：Dell_zhangcan 架构师 , 戴尔科技
集中存储扩容相对复杂。不过，如果采用了戴尔科技的 VPLEX 双活网关建设存储资源池，则可以大大简化集中存储的扩容复杂度，实现几乎“零”业务中断的存储扩容和数据迁移。分布式存储 + 服务器扩容要看具体环境，理论上没有限制。

嘉宾：xiaofu 高级工程师 , 福建医科大学附属第二医院
如果说是集中式存储+计算资源这个没有配置要求的意思，分布式存储+计算资源也没有配置要求。如果指的是超融合那原则上是跟之前配置一致最好。不是强制

嘉宾：diliangyu520 系统分析师 , 内蒙古医科大学附属医院
这个要看具体选型，比如有些集中存储一个机头可以扩展很多盘筐，不需要再购置机头直接扩容，分布式存储理论上是直接扩容的，不过为了保证系统稳定最好选用相同配置服务器，l超融合也要根据具体厂商的具体配置来扩容

嘉宾：jakeyyu 系统架构师 , 三甲医院
理论上并没有太大限制，这个取决于分布式存储的厂家、技术选型等。目前分布式发展的一个趋势是开放兼容性不断增强。

2、存储双活和容灾备份选择？

存储双活和容灾备份选择：针对医院重要业务系统做存储双活，一般业务做容灾备份，这样是否安全，还是说选择所有的业务系统都做存储双活，重点业务做容灾备份更加安全呢。针对勒索病毒等病毒攻击，容灾备份是必须的吗，还是说存储双活也能代替容灾备份功能呢。

嘉宾：xiaofu 高级工程师 , 福建医科大学附属第二医院
1.备份是容灾的基础，我们常说321原则。
2.容灾一般指相隔较远的异地建立相同的it系统，当一套出现故障另外一套可以接管工作。
3.然后根据业务系统的特点（如数据库、应用、图片存储等）部署的方式、业务的重要性选择不同的容灾备份方案。常常采用RPO与RTO来横量。
4.在医院的环境中，三甲医院基本追求远程数据实时备份，零丢失。应用容灾无缝切换，群集自动化监控切换。
5.解决方案也很多，可以根据自己实际环境研究合适自己的容灾备份方案。

嘉宾：jakeyyu 系统架构师 , 三甲医院
首先要弄清楚双活的意义是什么，双活的目标是保证医院系统在运行过程中，发生节点故障后另一个节点自动接管业务，而前端医护人员使用过程中感受不到系统发生过故障。而容灾备份的要求是在系统发生灾难情况下，可以将系统数据恢复到发生灾难前的一刻。因此，选择的时候就需要考虑业务的连续性，连续不能中断的业务最好选择双活系统，容灾备份也不能少。针对病毒攻击，容灾备份是不可少的，同时还要考虑网络中的安全问题和操作系统平台选择问题。

嘉宾：
当医院规模大系统繁多时，全部容灾肯定不现实，只能对不影响医院业务的前提下考虑灾备，比如his，emr,ris,lis,内镜，其他做数据备份

3、集中式存储环境下和分布式存储环境下对医院信息化业务的容灾备份如何考虑？

集中式存储环境与分布式存储环境容灾的方式不一样，双方的优缺点如何，采取哪种方案容灾备份的安全系数和容灾效率更高？

嘉宾：Dell_zhangcan 架构师 , 戴尔科技
容灾系统建设有两个重要指标 RPO（数据丢失量）和RTO（业务恢复时间）。最理想的情况是RPO和RTO都等于0，也就是说在火灾、地震、洪水等灾难情况下容灾系统可以确保“ 0 ”业务中断和“ 0 ”数据丢失。容灾系统建设是一个涵盖数据库、服务器、网络、存储的全面建设，以上 4 个方面都需要考虑到才能建设完善的、实际可用的，满足 RPO 和 RTO 要求的容灾系统。单就存储而言，传统存储和分布式存储的容灾目标是相同的，就是确保最小的 RPO 和 RTO 。最好的架构是“两地三中心架构”，对应的解决方案是“同城双活 + 异地容灾”。不管是传统存储还是分布式存储，戴尔科技都能提供“同城双活 + 异地容灾”的解决方案，而且有在大型三甲医院大量实施的案例。针对传统存储，戴尔科技有基于 VPLEX （双活网关） + 存储 + RecoverPoint （连续数据保护），基于存储机头双活（ PowerMax ） + RecoverPoint （连续数据保护）的解决方案和案例。针对分布式存储，戴尔科技有基于超融合（ VxRail ）+VMware+RecoverPoint for VM（虚拟机连续数据保护）+Oracle RAC（或者是 VMware 延伸集群）的解决方案和案例。

总结：对戴尔科技而言集中存储和分布式存储的容灾并没有太大差异，都是双活+CDP+应用高可用解决方案。

嘉宾：jakeyyu 系统架构师 , 三甲医院
两者各有优缺点和安全威胁，但是如果遵循所有鸡蛋不能放在同一个篮子里的原则，至少要进行分开式的灾备方案，即使集中式存储方案，在同一个院区也需要设置不同楼宇的灾备机房。而目前以超融合技术为主流的分布式存储，在同城异地灾备，资源共享优化利用角度效果明显，尤其是对于具有多院区的中大型医院而言，更具优势吧。

4、集中式存储和分布式存储在扩展节点时的区别？

随着节点增多，集中式存储和分布式存储在扩展节点时的复杂度是否会有区别？一般中小型医院应该如何做选择会比较适合业务发展需求？

嘉宾：Dell_zhangcan 架构师 , 戴尔科技
最大的区别在于扩展规模上。集中式存储的控制器可以扩展到8控、16控或者32控，但几乎没有扩展能力超过128控的集中式存储（因为没有实用价值，仅控标有用）。而理论上分布式存储的扩展能力是无限的。

在医疗行业实践中，很少有医院使用了集中存储的节点扩展功能，通常都是在集中存储使用 3年-5年以后需要扩展时，直接将集中存储升级为新一代产品。因此在选择集中存储时是否有配套解决方案建设存储资源池尤为重要。

嘉宾：
集中式存储的扩展基本上以纵向为主，暨容量扩展柜，部分集中式存储厂商有横向扩展存储控制器的能力，但是磁盘访问实际上与控制器是强绑定关系；分布式架构每个节点的扩展是横向的；从物理操作的角度，其实不会有太大的差别，主要的不同再于，集中式存储是以硬件的角度处理，而分布式存储是以数据的角度处理；一个数据平台，如何存放超过5年，甚至到30年，随着时间的流逝，每隔一段时间，集中式存储都需要进行繁重的硬件或品牌替换任务，这个动作通常还需要多方配合数据迁移，而现在的基于分布式架构数据平台，可以平滑的自动数据流动，让人为操作和对应用的影响降到最小。

四、交流总结

通过本场医院同行的交流活动达成了一些交流共识如下，仅供参考：

（1）分布式存储和集中式存储在医疗行业之内到底谁更胜一筹，暂时没有优劣性之分，双方针对医疗行业都有优缺点，在实际的应用部署过程中应根据以下几点因素来考虑：业务的需求，综合成本，容灾，维护，扩容性，技术把握程度。

（2）在集中式存储方面技术选型中，双活体系的容灾机制依然是首选，而针对大容量PACS系统而言，综合成本性价比高的是首选。

（3）在新机房多院区的信息化建设中，根据医院的业务，混合云的技术可以做到对业务进行分类别，核心业务可以本地是私有云运行，面向患者的互联网业务可以公有云，同时可以实现私有云与公有云的容灾双活，规避单点故障。

（4）在医院业务上面，存储的I/O性能没有谁更强一说，只有谁更适合医院的实际使用环境，根据目前医院主流的集中数据库进行了对比分析，I/O表现基本一致，都符合设计要求。

（5）根据医院自身的业务布局，全闪存储+分布式存储，全闪存储+集中式存储各有特点和应用场景，目前还都符合各级医院信息化建设的需求。