摘要：随着国家医疗改革继续深入，医疗信息化建设的发展也在从数字化医院向智慧医院升级。实现全数字化医疗的智慧医院，支撑医疗业务模式转型，建设私有云是基础架构的必然趋势。提高资源可扩展性和灵活度，以及从利旧角度尽可能提高医院现有数据中心资源利用率是当前很多医院在私有云建设中的挑战。本文主要介绍了杭州市第一人民医院基于超融合建设IaaS私有云的实践经验，包括私有云方案设计、设备利旧与升级、管理与运维等，自2019年到如今已经形成了超过200个虚拟机业务应用系统规模，承载了承载重要的医疗服务应用系统包括HIS、EMR、LIS等关键应用。

1 引言

杭州市第一人民医院(以下简称杭州市一医院)创建于1923年，核定床位1200张，拥有分布杭州市区及周边区县的10个院区，是杭州地区融医疗、教学、科研、预防和社会保健于一体的市属最大综合性三级甲等医院，是浙江省首批通过三甲评审的四家医院之一。现为 “浙江大学医学院附属杭州市第一人民医院”、“浙江中医药大学第四临床医学院”。随着医疗卫生体制改革的逐步推进，在市委、市政府统一部署，上级卫生行政主管部门领导下，以杭州市一医院为核心，稳步踏上紧密型医院集团发展的新历程，以建设“学习型”、“研究型”医院为着力点，不断创新，勇于突破，实现医院可持续、健康发展。

随着医院规模和服务能力的不断扩大，杭州市一医院的信息化建设近年来也经历了前所未有的高速发展，特别是经历了2010年的HIS建设高潮和2018年的电子病历评级，越来越多的医疗服务业务系统和医疗服务设施陆续投入使用。

2020年，国家卫生健康委医院管理研究所组织专家对我院进行了电子病历系统功能应用水平分级评价连线审查。国家卫生健康委医院管理研究所信息标准化研究部几位专家对我院中心机房、安全应急、住院护士站、医生站的闭环监控、知识库推荐诊疗等功能，以及门诊挂号、收费、就诊、门诊医生站、检查系统等患者就诊环节进行了功能点的校验，还根据之前上报的资料对我院进行了数据质量的查验工作。我院信息化水平得到专家组认可，成为全国19家六级及以上高等级电子病历医院之一。

2021年，我院根据互联互通五级要求，不断加强数据资源标准化、互联互通标准化、互联互通基础设施与应用效果建设。在原有四级的基础上进一步完善信息集成平台与数据中心，集成分散业务，生成标准化共享文档。顺利通过国家医疗健康信息互联互通标准化成熟度测评，获得五级乙等。该等级也是目前全国各家医院在该项目中获得过的最高等级。

如何利用当前先进的信息技术，满足医院高速发展的业务需要，为不断新增的医疗服务业务系统提供稳定、可靠、高效的信息基础支撑平台和服务平台，成为至关重要的问题，云计算相关技术自然而然地进入到杭州市一医院信息口的视野中。

2 私有云平台建设

2.1 云计算服务概述

云计算可以提供可用的、便捷的、按需的资源提供，成为当前医疗行业IT架构建设的主流形态，很多新建系统都是使用云模式进行构建，同时还有大量的现有业务系统，不断向云计算环境进行迁移。在云计算环境中，服务器虚拟化是基本的云计算技术之一。

基于服务器虚拟化的云计算技术虽然有效降低了硬件采购成本，缓解了IT建设面临的诸多压力。但是其基础架构并没有发生变化，一直到超融合基础架构（简称“HCI”）的出现。超融合架构在数据中心中承担着计算资源池和分布式存储资源池的作用，极大地简化了数据中心的基础架构，而且通过软件定义的计算资源虚拟化和分布式存储架构实现无单点故障、无单点瓶颈、弹性扩展、性能线性增长等能力。

杭州市一医院本着务实原则，兼顾医疗数据信息安全监管和医疗服务的稳定可靠要求，通过谨慎地比较和试用，最终选择使用业界领先的英特尔、VMware、H3C等公司最新技术，以保证核心医疗服务的业务连续性为目标，构建医院私有云平台，优先提供基于超融合架构的IaaS服务能力。

2.2 基于超融合的私有云平台

杭州市一医院希望医院信息化系统的建设能成为医院发展的”助推器”和”倍增器”，云计算和大数据和人工智能成为当前医院信息系统建设的代表方向和潮流，从早期比较尝试使用中，切身体会到虚拟化技术和产品优势、超融合技术，就能提供媲美传统存储的几万IOPS的高性能能力，特别吸引杭州市一医院的注意。

所以杭州市一医院选择升级改造现有虚拟化服务器为超融合节点并新增节点，基于vSAN软件定义存储和服务器虚拟化结合，充分利用现有双活FC-SAN存储，建设基于超融合的私有云IaaS基础架构平台，帮助杭州市一医院实现医院IT技术平台从以硬件为中心转向以核心医疗服务应用为中心，从专业硬件转向行业标准硬件，从封闭走向开放，从硬件驱动转向软件定义，在实现关键业务可用性、稳定性的同时实现性能快速提升、存储架构的模块化扩展。

2.3 私有云平台设计方案

2.3.1 基于超融合的部署方案

在数据中心新建一套超融合系统集群，并对医院现有的业务系统进行评估，按照评估结果，将适合的业务系统和数据迁移至超融合平台，打破原有竖井式的纵向扩展架构。

1、数据库服务器

HIS/PACS等核心业务数据库系统对物理机性能要求比较高，而且有数据一致性要求。如果部署在基于超融合架构的私有云平台上，需要高性能的数据支撑。

2、应用服务器

对于HIS/PACS等核心业务系统应用服务器和其他非核心应用系统，完全可以部署在超融合系统架构平台上，利用一套平私有云平台解决应用部署问题，在提高系统利用率的同时可以做到灵活管理和运维。

2.3.2 超融合方案建设思路

我院现有的私有云环境是基于VMware的虚拟化，但是随着业务系统数量的增加和资源扩展的需求，现有架构的扩展灵活性比较受限。服务器资源无法被充分的利用起来，集中式存储存在性能下降，扩容停机维护时间过长等问题。继续对现有基础架构进行改造，真正适合云环境的建设和需求。

利旧是医院信息化建设必须考虑的重要方面，以充分利用已有的资源基础，降低TCO。基于以下几个方面的优势，准备将现有架构改造成超融合架构再提供给云环境使用：

1、从改造后的医院数据中心基础架构来看，只需要采购服务器+网络设备即可。不再需要为云环境购买或升级独立的SAN集中存储。网络方面可以让数据中心的架构由三层转变为二层，降低复杂度，降低采购和运维成本。

2、超融合架构可以实现完全的资源整合、统一管理、调配和统一存储功能。在扩展性上可以做好按需线性的横向扩展，采用的是分布式的自治系统。由于计算与存储资源的深度融合，在对系统进行扩容时，只需要扩展超融合服务器的节点即可，不需要提前对设备进行选型、设计、系统集成和长时间的系统调试，通常一个三节点的扩容，一小时之内就可以完成，深度软硬件集成的超融合系统甚至可以做到开箱即用。

3、软件定义的基础架构，可以满足未来医院对业务系统的扩展需求。通过软件定义，能够让医疗数据中心在一个简单的基础架构下升级成为一个智能化、自动化、高效化的数据中心。

在设备改造方面，服役超过5年以上的服务器，将不再继续使用，进行淘汰处理，避免潜在的安全隐患。

利旧后的设备建设两个资源池，一套用于生产环境，一套用于开发测试环境，不和生产资源混合在一个资源池里，做好安全隔离，避免互相影响。

选择部分性能比较好，未过保修期（三年内）且具有整合价值的服务器，通过升级改造（例如：增加SSD固态硬盘，对内存进行扩容）后加入到超融合系统群集当中。需要注意的是个别老旧的服务器，即使部署了相同超融合系统软件，由于其CPU型号不统一，很难组建一套超融合系统，需要创建不同的资源池。

2.3.3 硬件设备利旧和升级

主要利旧的设备和架构如下图所示：

1、服务器设备利旧

超过质保期的服务器不利旧，避免出现潜在的安全隐患。不同架构的服务器不利旧，例如AMD架构的服务器和英特尔架构的服务器就无法在一套超融合架构进行不同，因为CPU架构不同，无法进行虚拟机的迁移和资源共享。因我院大部分利旧的服务器都基于英特尔®至强®可扩展处理器的X86服务器，所以可以完全利旧使用。

2、服务器和网络设备升级

由于超融合架构对网络要求比较高，原有二层接入交换机为千兆交换机，需要使用万兆光网络的交换机进行设备连接，保证超融合架构系统网络的畅通，避免出现计算流量和数据流量的拥挤和堵塞。

利旧的服务器原配置不是为了虚拟化做的设计，普遍配置较低，特别是内存资源和硬盘资源比较匮乏，如果组建超融合架构系统，单个节点的资源利用率不高，无法提供更有效率的计算资源和存储资源，需要对部分配置进行升级。

在内存方案，未来考虑英特尔®傲腾™持久内存。可以经济地为单个超融合节点提供更多的内存，其PMEM MM模式配合vSphere 7.0U3 vMMR功能可以提供更多的内存，让VMware单节点创建更多虚拟机，优化TCO，提高单个节点的资源利用率。

在硬盘方面，由于原有单节点服务器磁盘容量小，速度低，需要进行扩容。考虑采用SSD固态盘+HDD SAS盘的组合，利用SSD固态盘为超融合分布式存储系统做高速缓存性能加速。当高速缓存位于低延迟、高耐用性的快速固态盘时，VMware vSAN 能发挥最佳性能。如果在高速缓存层采用最高性能的固态盘，将获得性价比高的性能提升。在本次利旧方案中，选用了英特尔®固态盘，可以提供高IOPS和每日30次硬盘写入的高耐用性，非常适合支持写入密集型数高速缓存功能，提供在性能、数据完整性、性能一致性和硬盘可靠性方面的保障。在未来有更多高性能、低延迟要求的场景，可考虑采用最新的英特尔®傲腾™固态盘，延迟不会负载增加而增加，而且有很高的耐用性，例如英特尔®傲腾™DC P4800X的耐久性能达60 DWPD1，每天全盘写入擦除60次。因此，在vSAN中使用英特尔®傲腾™固态盘，当云平台有更多工作负载时，能够保持稳定的高性能和高耐久性。

3、存储设备利旧

原有FC-SAN存储架构保持不变，仍采用EMC和DELL存储的集中存储解决方案。但是在使用上有所不同。原集中式存储架构主要为核心HIS/PACS系统的数据库提供数据存储服务。存储系统利旧后仍保留原数据，作为备库数据进行使用。

其次，原有FC-SAN存储还可以用于存储部分虚拟机数据库系统结构化数据文件，虚拟机自身的数据文件和非结构化数据文件将使用基于超融合的存储系统。

2.3.4 私有云管理和运维

基于超融合架构的云计算并不简单等同于传统架构的虚拟化，而是综合运用虚拟化、标准化和自动化等一系列技术对医院的信息化进行全面优化。因此对基于超融合的私有云环境进行管理和运维还是非常有必要的。

私有云管理平台主要负责对资源的管理、弹性调度以及操作维护等综合管理功能，是云平台管理的核心，在同一个web界面提供云资源管理、云运维管理和云服务管理的功能。在采购新的超融合系统以后，可以直接采用超融合系统的云管理功能或者将资源加入到已有云管理平台中，统一管理虚拟化资源，做到在一个云平台上对基础设施架构进行统一的运维和管理。

在一些最佳实践中，医院信息中心已经从一个成本中心变成一个可以交付有形价值和差异化能力的核心部门。云管理平台是面向云计算领域的通用云管理环境，在动态数据中心构建及运维过程中提供全方位、多层次的管理及监控能力，基于云环境实现应用的快速部署及资源的弹性供应，通过简化管理极大地降低成本、提高效益。通过集中式的资源管理模式整合虚拟化数据中心的计算、存储和网络资源，并通过自助式门户以随需即取的方式提供用户申请、配置和使用。

我院目前正在运行的云计算管理平台可以根据超融合系统资源构建统一的资源池，并能实现对资源池的创建、修改、删除等管理功能。云管理平台能够实现对资源进行精细化管理、自动化运维，提供集中、统一监控运维管理平台，降低数据中心运维成本。

在超融合系统在建设完成后，其资源主要由云管理平台进行统一管理，主要有两种管理模式：

1、信息化部门具备一定的技术能力（如：医院信息中心及分院信息管理部门等）。一次性申请批量资源，由云管理平台管理部门经过审批分析后，批准并分配资源，之后，使用者在部门内部进行个人资源申请、审批，具备了“自治管理”能力；而通过流程控制和资源监控，达到“集中管控”的效果。

2、部门不具备信息化能力（如：医院骨科、眼科等业务科室），如果有资源需求，就会向云管理平台管理部门提交申请，经过审批分析后，批准或驳回申请，动态分配及收回资源。

3 私有云平台设计的重要考量因素

整个私有云平台的建设实施是一个循序渐进的过程，对于医院运营发展至关重要的核心医疗服务应用系统的性能、可用性以及平台本身的扩展性，都成为云平台选择和设计要考虑到重要因素，而考虑到杭州市一医院本身有限的运维团队规模，还要兼顾对杭州市一医院集团10个院区的机构提供必要的技术和运维支持，私有云平台的运维管理方便性也是必须要考量的因素。

3.1 高性能

整个私有云平台，最吸引杭州市一医院的就是超融合平台提供的高性能，能够完全满足杭州市一医院所有关键医疗服务应用系统和数据库系统的性能要求。

私有云平台建设前期，为了保证系统的高性能要求，医院信息科进行了模拟测试。4台测试集群环境，每台配置2E5-2620 6Core， 1800GB SSD和51.2TB SAS的混合超融合环境中，使用IOMeter测试工具，2个用于测试的windows2008虚拟机，每个创建8个8G大小的虚拟磁盘，每个磁盘一个Worker，用4 K大小的数据块进行读写测试，在读写时延不超过10ms，CPU利用率最高不超过20%，有如下性能结果：

80%随机,100%读4K，2个VM获得总共11.91万IOPS

30%随机,读70%,写30% 4K，2个VM获得总共5.98万IOPS

30%随机,读70%,写30% 8K(模拟Oracle)，2个VM获得总共3.53万IOPS

30%随机,读70%,写30% 64k(模拟SQL)，2个VM能达到总共1.25万IOPS

系统和测试虚拟机都没有做任何优化配置，就可以实现非常不错的性能表现，足以支撑杭州市一医院除核心业务应用系统。

实地测试评估的同时，杭州市第一人民医院也和在生产环境中使用vSAN超融合架构支撑HIS、LIS、EMR数据库和应用的同行医院沟通了解，配置英特尔®固态盘DC P3600 NVMe SSD做缓存层，实际测试下来，单个服务器节点的4k随机读的性能为46k，其6台节点的超融合集群能提供超过27W IOPS的读写性能。

杭州市一医院考虑到需要支撑包括数据库和中间件在内的核心业务系统，参考同行医院的选型配置，并选择市场公认性能好的NVMe接口SSD做缓存层构建性能更高的全闪超融合架构。私有云平台当前使用8台全闪基于英特尔®至强®可扩展处理器的X86服务器，缓存层使用的是800GB英特尔®固态盘DC P3700 NVMe，存储层使用4块1.92TB SSD，单个服务器节点的4k随机读的性能超过50k，8台节点的超融合集群理论能提供超过40W IOPS的读写性能。800GB固态盘每日整盘写入次数(DWPD)高达10次，耐用性在14.6PBW，符合并远大于VMware对于缓存盘不少于3.65PBW的要求。这样，容量层就可以使用耐用性等级更低的固态盘，因为缓存层已经可以处理大量写入请求。容量层则专注于服务所有读取请求。由于缓存层已经具备高耐用性，成本和耐用性更低的固态盘就可作为经济型容量层解决方案的理想之选。

随着业务快速发展，针对医院超融合架构进一步加速数据访问，可以将英特尔®傲腾™持久内存用于VMware vSAN部署，更高效地扩展内存，便于在VDI部署中支持更大的虚拟机，或支撑数据库、分析和其他要求苛刻的工作负载处理更多“热数据”。英特尔®傲腾™持久内存一共有128GB、256GB 和 512GB 三种容量，目前最大容量的单条 DDR4 内存条是 128GB，使服务器的内存总量可以超过 TB 级别。

利用建设超融合私有云平台的机会，对所有虚拟化平台上的新增业务应用系统资源进行规范管理，按普通、中等和高级3种虚拟机资源类型提供：

• 普通型，配置2vCPU+8GB内存，用于普通Web类应用和开发测试环境

• 中等型，配置4vCPU+16GB内存，用于小中型DB及中间件系统

• 高级型，配置8vCPU+32GB内存，用于HIS/EMR/HRP等核心系统的DB和资源要求比较高的业务系统

杭州市一医院本院院区年门诊量接近200万，从2019年建成的超融合私有云平台，到目前为止已经形成超200个虚拟机的业务应用系统规模，承载重要的医疗服务应用系统，包括HIS、EMR、LIS等关键业务应用系统及其他数据库高性能、稳定可靠地运行。

主要的数据库服务器和应用服务器部署规模如下：

3.2 高可用

超融合平台提供多数据副本技术，在不需要额外数据保护方案时，自身就具备数据高可用能力，实际部署环境中，杭州市一医院通过存储策略方式，根据不同业务系统需要，采用2或3份数据副本的不同存储策略，同时结合纠删码和去重，有效保证应用系统的数据高可用。

为了应对更加严重的不可预知故障因素，杭州市一医院还部署了第三方的虚拟化备份解决方案，在现有的FC SAN存储中，为重要的虚拟机再提供额外的备份保护，进一步增强私有云平台的高可用性。

虚拟化平台内置的HA和vMotion，也是高可用能力，不同技术方案的组合，为杭州市一医院的医疗服务应用系统提供多重高可用连续性保护。

3.3 易扩展

随着业务发展的规模和医疗服务能力要求的不断增加和更新，私有云平台的规模和能力也需要能够按需在线扩展。不仅对于私有云平台技术本身有要求，同时对于云平台的技术生态圈也有要求。

杭州市一医院在已有虚拟化平台基础上升级成超融合平台，并且和新增的超融合节点无缝整合在一起，构成新的超融合私有云平台，已经完全从技术上很好地展示易扩展性。未来在医疗服务能力和业务需求有提升时，可以通过添加磁盘和内存进行纵向扩展，还可以通过添加新的节点到集群中实现横向扩展。最重要的是，无论哪种扩展方式，都可以在线进行而不会对现有医疗服务系统的运行有任何影响，这点对于需要保持7x24小时不中断的医疗服务来讲是非常重要的能力。

而在的超融合私有云平台上，无论是扩展到更高级的PaaS/SaaS平台服务能力，还是添加前面所述的备份方案等第三方技术方案，都有业界主流软硬件厂商的方案支持。甚至以后如果需要扩展到公有云服务，构建混合云/多云平台，杭州市一医院也无需更换现有平台或对应用做大的变动，可以方便的扩展到生态群里受支持的多种公有云平台，完全实现按需扩展的自由。

3.4 易运维

从原有的服务器虚拟化平台升级到超融合私有云平台，运维管理界面还是运维团队熟悉的界面，所有的菜单和操作都和原来完全一样，而和存储相关的运维管理工作，由于存储策略的管理方式和后台自动化的操作，更换硬盘也可以通过在线拨出故障盘，插入替换盘这样的简单操作完成，没有了传统的数据迁移、划LUN、条带、初始化等复杂的操作过程，完全就是“插上不用管”。

系统智能化运维监控平台的应用，进一步解放了运维团队的日常工作束缚，主动的告警、基于策略的自动资源调整和自动操作执行，运维团队只在应用系统需要的时候介入干预，极大释放了生产力，运维效率成倍提升。

4 未来展望

随着国家医疗改革继续深入，医疗信息化建设的发展也在从数字化医院向智慧医院升级。如何在现有私有云平台IaaS服务能力的基础上，进一步利用AI、云原生、大数据等服务提供PaaS/SaaS应用服务能力，赋能医疗服务应用智慧能力，加速杭州市一医院智慧升级，业务创新，是杭州市一医院信息口未来的重要方向。

实现全数字化医疗的智慧医院，支撑医疗业务模式转型，超融合是必不可少的基础架构之一。随着以云计算平台为核心的智慧医院建设，医院的数据中心也需要不断升级。

现在部分医院信息化建设还在采用传统物理架构与虚拟化技术相结合的方式来构建数据中心，已经逐渐暴露出无法满足日益增长的业务量需求的趋势。为了患者方便就医，提高服务质量、工作效率，以及患者满意度，同时加强患者及公众对医院信任与支持，创建和维护和谐医患关系。需要进一步促进业务和信息资源的整合，提高信息资源的利用率，降低医院信息化总体运维成本。降低网络、服务器与存储系统等信息系统基础设施的管理复杂度，提高应用信息系统部署的时效性，超融合技术的运用势在必行。

超融合基础架构相比于传统集中式架构，具备诸多先天性的技术优势和能力，如果在超融合架构中再引入其他“超能力”，例如英特尔®傲腾™持久内存技术、VMware技术堆栈的Tanzu应用容器平台等，一定可以为医院的数据中心提供最优的性能、灵活性、规模、成本和数据保护，极大简化医院IT系统的设计，帮助杭州市一医院私有云平台的服务能力升级更上一层楼。