蓝色勿忘我
作者蓝色勿忘我2020-12-03 10:29
系统工程师, 东方医院

上海东方医院基于华为OceanStor系列全闪架构设计构建“数字底座“支撑智慧医疗实践经验分享

字数 8031阅读 14163评论 11赞 6

文章摘要

上海市东方医院(同济大学附属东方医院)(以下简称:东方医院)近年来加速了智慧医疗的建设与探索,通过全闪存解决方案构建起开放性的智慧医疗基础平台,为后续的数据融合、患者就医体验提升、智慧医疗生态圈等夯实了坚实基础,走出了一条既稳又快的智慧医疗之路。

一、智慧医疗的项目建设背景

2018年,国家颁布《关于深入开展"互联网+医疗健康”便民惠民活动的通知》、《促进"互联网+医疗健康”发展的意见》等多项促进“互联网+医疗”建设的指导方针,其中提到,逐步利用“互联网+”技术,加快推进智慧医院建设发展,优化改造患者就医流程,提高患者服务体验。从国务院《关于积极推进“互联网+”行动指导意见》到卫健委《关于印发进一步改善医疗服务行动计划(2018-2020年)的通知》,最近几年一系列的政策都在鼓励与推动以“互联网+”为手段、以病人为中心的智慧医院建设。

今年一场突如其来的新冠疫情,不仅充分证明了数字化技术在科技抗疫中的重要作用,也加速驱动着医院等医疗机构从数字化医疗走向智慧医疗。

二、为什么需要智慧医疗

当前,我国包括东方医院在内的大部分三甲医院普遍都在加速向智慧医疗转型,医疗数据加速互联互通、共享与分析,各种业务系统有望更好进行协同与运营,以及精细化服务能力得到进一步提升。医院之所以在当前加速智慧医疗的建设,主要是因为数字化转型正在强有力驱动着医院变革。
从医院信息化和数字化建设的角度来看,很多三甲医院拥有多年的建设经验,都经历了信息基础设施和数字化医疗的建设阶段。比如在信息基础设施建设阶段,医院重点进行了以收费和医院为管理的HIS系统的建设,并持续完善了像LIS、PACS、EMR、HRP等业务系统的建设。
而在数字化医疗的阶段,医院则围绕结构化电子病历进一步推动医院的影像、诊断、临床检验等业务的数字化。随着三甲医院大量复杂的业务系统逐渐数字化,业务彼此之间的互联互通、协同运营就成为最大的需求,此外像5G、大数据、数据湖、云计算、AI等新数字化技术的兴起,让智慧医疗的建设步伐开始提速。
而从业务需求层面来看,三甲医院全面向“以患者和提高服务质量为核心”转型,将5G、大数据、AI等最新的数字化技术与医疗服务进行深度融合,将医疗管理、科研和临床服务体系变得更加智慧,以达到大幅提升患者就医体验的根本目标。

为此,东方医院结合当前医院发展趋势,打造了自身的智慧医疗理念:
首先,以服务患者为本,通过搭建开放性智慧医疗基础平台,大幅提升患者的就医体验,真正实现以患者为中心;
其次,分散在各个医疗业务系统中的数据需要走向融合,进行集中管理、挖掘,实现数据价值最大化,进一步支撑管理层的辅助决策;
最后,聚合合作伙伴,整合先进的解决方案,构建其智慧医疗生态圈,共同给医院提供智慧医疗整体解决方案。
在智慧医疗理念的驱动下,东方医院开始着力打造数字底座,以支撑智慧医疗未来的可持续发展。

三、“数字底座”是我院智慧医疗可持续的前提

数据流动且形成业务闭环,方能带来价值。
智慧医疗本质就是通过数据的融合、流动、共享与分析,形成业务数据的闭环,进而驱动智慧医疗的业务与服务创新。东方医院认为,在现阶段的智慧医疗建设中,数据分析和外联平台是重中之重。
所谓数据分析,就是将数据分析全面融入到临床、医学科研、医疗服务质量、基因数据等日常医院业务之中,进一步提升效率和服务质量;而外联平台则需要与医联体平台、医保平台、人口健康平台、区域影像中心、互联网+业务紧密联系,实现跨医院的医疗协同。
无论是数据分析还是外联平台,其核心都是基于数据。东方医院认为智慧医疗的建设需要院内信息中心和大数据中心共同驱动。院内信息中心承载着大量的业务系统,是数据生产区,源源不断产生各种业务数据,并且流向大数据中心,在大数据中心经过分析之后,进一步反哺各项业务,提升辅助诊断的能力。
事实上,东方医院智慧医疗就是希望打造业务数据闭环,让数据可以更好地流动、服务业务。在这其中,承载院内信息中心大量业务系统的数据存储可谓是至关重要。以2019年为例,东方医院其门急诊量近300万人次,日均门诊量超过9000人次,HIS、LIS、RIS、EMR等核心生产业务每天会产生大量的业务数据。
数据存储的稳定可靠与性能高低,直接决定着智慧医疗建设的可持续性。当前,对于大部分三甲医院来说,最重要是保持医院各项业务系统稳定可靠,在可持续发展的前提下进行智慧医疗相关的业务创新。在《全国医院信息化建设标准与规范(2018试行)》中对各种业务系统的等保等级提出了明确要求,像三级甲等医院的关键业务系统RTO需要小于15分钟,RPO需要小于10分钟。
以HIS核心业务为例,HIS系统是覆盖医院所有业务和业务全过程的信息管理系统,包含挂号、定价、收费、处方,以及人力资源、财务等,是贯穿整个医院最核心的业务系统,属于结构化数据为主的复杂生产交易类业务。承载HIS系统的数据存储一旦出现故障或者性能不佳,将牵一发而动全身,严重影响到整个医院的运转。
东方医院认为,数据存储就是智慧医疗的数字底座,稳定可靠、创新高效是医院对于数字底座的核心诉求。其中,稳定可靠需要数据存储系统可靠性高,让业务连续性有保障,数据有备份保护,业务可以平缓迁移;创新高效则需要数据存储性能好,技术具有前瞻性,既可以满足当下各类业务系统的性能需求,又可以满足医院IT系统长达8-10年的更新周期。

四、全院智慧医疗基于华为高端全闪存架构设计实践

事实上,东方医院原有承载HIS等核心业务系统的数据存储系统由于使用年限很久、技术落后,已经很难满足其智慧医疗建设需求。比如,原有数据存储系统性能已经严重不足,业务系统运行缓慢,响应时间在高峰时期超过30秒,开始影响医院各项业务的正常运作。又如,原有数据存储系统不具备双活等保护功能,存在较大的隐患;还有,原有数据存储系统在技术上落后,扩容能力差,无法支持智慧医疗带来的海量数据增长的容量需求,不支持NAS和SAN一体化,无法对多种业务进行响应。
东方医院认为,HIS系统是一个覆盖医院所有业务和业务全过程的信息管理系统,是医院信息化的核心和基础。传统的HIS系统已经不能满足智慧医院的建设要求,需要以智慧医院建设为目标,重新进行设计和规划,对数据质量、业务流程和系统互联互通等方面进行系统化整改;同时,在IT基础架构方面也需要进行重新规划和建设,与升级改造后的HIS系统相匹配;IT基础架构需要具备高性能、高可靠性的同时兼具灵活性,切实满足智慧医院的建设要求;像HIS系统这种核心业务的可靠性增强是永恒追求,让诊疗行为不中断、业务操作不卡顿、安全威胁不担忧;同时,方案需要满足两地三中心的容灾规划建设,最终实现同城双活 + 异地容灾体系,增强业务连续性保护,较好的满足监管要求。

为此,东方医院采用了华为OceanStor18000系列高端存储产品构建的智慧医院全闪解决方案来构建智慧医疗的数字底座,确保智慧医疗的发展既稳定又快速。

考虑到同城灾备机房和异地灾备机房建设进度,整个项目分两个阶段进行。

第一阶段,完成存储设备的更新换代,并将原有系统平滑迁移到新的存储,并支撑新一代核心系统项目群系统上线。

第二阶段,完成同城双活 + 异地容灾的灾备体系建设。

最终方案采用HyperMetro+Hyper Copy方案来构建两地三中心数据存储方案。
OceanStor 18500/18800 V3高端存储凭借业界领先的SmartMatrix系统架构、HyperMetro免网关A-A一体化双活、闪存融合技术、持续领先一代的硬件平台以及丰富的效率提升和数据保护方案,在可靠性、性能和解决方案方面都达到业界领先水平,满足了大型数据库OLTP/OLAP、云计算等各种应用下的数据存储需求,是企业核心应用的最佳选择。

五、方案设计

针对HIS系统,根据需求分析,需要采用高性能的服务器以提供快速的业务响应,同时HIS是全院的核心,因此要保障高可靠性。方案设计需要为多台HIS服务器共同双活工作模式。在数据层面,通过存储虚拟化技术将两个数据中心的数据虚拟化成统一的资源池,实现从任一HIS下来的数据,将被写到两套存储中去,实现数据层面的双活冗余保护。

将核心HIS系统通过存储镜像技术实现数据的双活部署,提升HIS业务的可靠性。

“Active-Active”的高可靠架构,提供可被两数据中心主机并发访问的共享双活卷,自动实现负载均衡,同时对外提供业务。

方案优势

1)高可靠业务连续性
关键业务双活部署,保障关键业务的连续性,数据的零丢失,业务不中断;
关键业务采用Activce-Active的存储架构,关键业务任意物理节点或多个物理节点故障,其余节点可以快速接管,保证业务的连续性;
SAN网络构建为双冗余的网络,保证存储数据访问链路的高可用;

2)统一管理
整体方案采用统一的管理,节约运维成本。
存储统一管理平台,提供灾备设备、资源和业务的集中管理,并从流程上简化复杂的灾备业务配置,实现端到端业务监控,同时实时地展现系统状态,如数据状态、复制状态等。

3)扩展性
HIS系统采用存储的镜像实现双活,所有的物理部件支持在线扩展,以适应不同业务压力的场景,为后续可能的业务扩展提供了很好的平台;

PACS系统采用Scale-out存储架构,进行上百节点的无缝在线扩展,满足PACS系统海量文件的在线需要,通过同步技术,将PACS的在线数据同步到另外的一台文件系统上,实现PACS在线数据的容灾保护。

关键技术点

1)并行访问
阵列双活特性基于两套存储阵列实现AA(Active-Active)双活,两端阵列的双活LUN数据实时同步,且双端能够同时处理应用服务器的I/O读写请求,面向应用服务器提供无差异的AA并行访问能力。当任何一台磁盘阵列故障时,业务自动无缝切换到对端存储访问,业务访问不中断。

相较于AP方案,AA双活方案可充分利用计算资源,有效减少阵列间通信,缩短I/O路径,从而获得更高的访问性能和更快的故障切换速度。

2)免网关设计
双活架构无需额外部署虚拟化网关设备,直接使用两套存储阵列组成跨站点集群系统。本方案架构精简、与存储增值特性良好兼容,对客户的价值如下:

减少网关故障点,提高方案可靠性。

I/O响应速度更快,无需经过存储网关转发,减少网关转发I/O时延。

双活可以兼容存储阵列已有特性,可为客户提供多种数据保护和灾备解决方案。

显著降低双活组网复杂度,便于维护。

3)跨站点集群
两套独立的存储阵列组建成跨站点集群,并以跨站点集群为核心,提供双活存储架构,向应用服务器提供无差异的并行访问,处理应用服务器的I/O请求。

双活跨站点集群配置过程极为简单,只需要将两套存储阵列配置成双活域,即可完成跨站点集群配置。

跨站点集群系统使用阵列间FC或IP链路作为通信链路,完成全局节点视图建立和状态监控。在全局节点视图基础上,跨站点集群系统提供分布式互斥等能力,支持AA双活架构。下图为双活跨站点集群示意图。

双活跨站点集群

集群节点具有并发访问能力。当出现单个控制器故障时,其承接的业务将被切换到本地集群的其它工作控制器;本地集群工作控制器全故障时,则切换至跨站点集群另一个本地集群。

4)双活访问与切换

在跨站点集群基础上,阵列双活功能以双活Pair或双活一致性组为单位提供服务和进行状态管理。

两套存储阵列上的双活成员LUN组成一个虚拟双活LUN,通过实时镜像技术保持两个数据中心的双活成员LUN的数据实时一致。

一致性组是多个双活pair的集合,可以确保单个存储系统内,主机在跨多个LUN进行写操作时数据的一致性。

一致性组进行分裂、同步等操作时,一致性组的所有双活pair保持步调一致。当遇到链路故障时,一致性组的所有成员对会一起进入异常断开状态。当故障排除后,所有成员同时进行数据的同步,从而保证从站点灾备阵列数据的可用性。

5)跨站点数据实时镜像

阵列双活功能通过实时镜像功能,保证两个站点存储阵列之间数据的实时同步。主机写操作通过实时镜像技术同时写入两个数据中心的双活成员LUN,保持数据实时一致。具体的写I/O流程如下图所示。

跨站点镜像

双活Pair运行状态和主机访问状态关系见下表。
双活主机访问状态表

双活Pair运行状态和镜像状态关系见下表。
双活镜像状态表

6)跨站点坏块修复
硬盘在使用过程中可能因为掉电等异常情况出现坏块,如果是可修复错误但是本端已经无法修复时,双活将自动从远端阵列获取数据,修复本地数据盘的坏块,进一步提高系统的可靠性。

跨站点数据修复

数据中心A阵列出现坏块时,从该阵列读I/O 处理流程如下:

  • 主机下发读I/O;
  • 读本地LUN;
  • 读取到坏块后,如果为可修复错误,执行步骤4,否则执行1、2后流程结束;
  • 重定向远端读;
  • 远端读返回;
  • 将读数据返回主机,确保主机响应的快速返回;
  • 根据远端的读数据,进行本地写入修复;
  • 写修复结果返回;
  • 灵活扩展

华为OceanStor 18000系列高端存储为企业核心业务提供最高水平的数据服务。
凭借业界领先的SmartMatrix系统架构、HyperMetro免网关A-A双活、闪存优化技术、持续领先一代的硬件平台以及丰富的效率提升和数据保护方案,OceanStor 存储在可靠性、性能和解决方案方面都达到业界领先水平,满足了大型数据库OLTP/OLAP、云计算等各种应用的数据存储需求,广泛适用于政府、金融、运营商、能源、交通、制造等行业,是企业核心应用的最佳选择。

OceanStor存储产品特点:

1)稳定可靠
领先的SmartMatrix系统架构
4控制器全对称引擎:革命性的在引擎6U空间内集成4个控制器,并在无源背板互连基 础上融合了Cache持续镜像和后端硬盘控制器全互连技术,实现业界领先的4控全冗余特性。引擎内4个控制器互为热备,即使在3个控制器故障的情况下也依然能够保证业务稳定运行,完全避免了传统高端存储在系统升级或者控制单元故障时的单点运行状态,最大程度保证关键应用的业务连续性。
负载均衡:支持控制器间负载均衡,应用可通过多个控制器并发加速,消除性能瓶颈,实现业务的压力均衡。

全面的可靠性技术,帮助用户实现业务永续

全冗余硬件设计:所有组件与通道均为全冗余设计,无单点故障,各组件与通道均可独立完成故障检测、修复和隔离,确保系统稳定运行。

独有的数据快速恢复技术:采用创新的块级虚拟化技术,1TB数据重构时间从10个小时降低到30分钟,与传统高端存储相比,因硬盘故障引起的数据失效风险降低95%。

DIX+PI端到端数据保护:提供基于DIX+PI的端到端数据完整性保护方案,保证了数据从应用系统到HBA卡到存储系统再到硬盘的完整性,实现了从应用到硬盘的端到端数据保护,有效的防止了数据破坏,为客户提供更深层次的业务保障。

丰富的数据保护软件:Hyper系列数据保护软件包含快照、克隆、一体化备份、远程复制、阵列双活等数据保护技术,能够满足用户系统内、本地、异地以及多地的数据保护需求,实现方案级99.9999%的可用性,最大程度保障用户业务连续性和数据可用性。

领先的SAN与NAS一体化双活方案:一套阵列同时支持SAN与NAS双活,确保数据库与文件业务同时高可用。凭借HyperMetro A-A双活,存储系统间可实现负载均衡的双活镜像以及无中断的跨站点接管,保障用户关键应用数据零丢失,业务零中断,让客户的核心应用系统不受宕机困扰。免网关设计可有效降低用户购置成本和部署复杂度,同时支持单套设备平滑升级到双活,并能进一步扩展至两地三中心解决方案。

2)极致融合
搭载最新的OceanStor OS存储操作系统,OceanStor存储进一步发挥融合优势,为用户提供融合的、可灵活调配的统一资源池,让用户数据自由流动,帮助企业IT向云架构演进。

闪存的融合:华为拥有最全面的闪存产品,能够实现不同类型,不同档次,不同代次的闪存实现互联互通;从数据面,管理面,运维面实现多层维度的闪存融合,实现600 万IOPS@1ms的高性能低时延,同时又保障SSD的长期可靠性。

SAN与NAS的融合:可同时兼容SAN和NAS两种服务,满足业务弹性发展需求,提升存储资源利用率,有效降低TCO。将块与文件两种数据服务融会贯通,不光能够实现多业务承载的能力,而且SAN与NAS性能与功能业界领先。

存储资源池的融合:通过内置异构虚拟化功能,OceanStor存储能高效接管其它主流厂商存储阵列(不同档位,不同种类,不同型号),并整合成统一的资源池,消除数据孤岛,资源可统一管理,自动化&服务编排;同时,还可以实现实现第三方设备迁移0中断,迁移操作工具化自动完成,耗时平均缩短60%。

多数据中心的融合:SAN与NAS一体化双活实现跨数据中心的业务永续,组网更简单;从双活数据中心可平滑升级到3DC,提供两地三中心最高级别的业务连续性;可实现64:1的多级DC,提供数据集中容灾与保障。

3)智能云化
智能的服务,助力企业云化转型

智能运维管理:eService智能运维软件可实现云监控,7*24主动监控,每天自动深度巡检;分钟级感知故障,自动报障并自动建单;提供云评估服务,自动化Workload特征分析,一键式生成分析报告,推荐存储设计;智能趋势预测,提前规划扩容。

混合云联动:华为存储为企业打造存储混合云解决方案,实现云上云下资源协同利用和数据流动,公有云可作为一个分级,实现私有云和公有云间实现数据备份/迁移,推动企业存储服务平滑向云化转型。

具体来看,当前三甲医院无论是挂号、候诊,还是分级诊疗、大数据医疗应用都对HIS系统在稳定性和可靠性方面提出了更高要求。东方医院数字底座基于华为全闪存构筑,利用全闪存的优势,大幅提升了业务系统效率,实现了毫秒级的业务响应;与此同时,华为OceanStor 18000系列高端存储产品除了匹配全闪存的硬件架构,还采用创新的端到端深度优化的全自研闪存架构设计,包括面向闪存的CPU多核优化,cache自适应算法,SSD自研算法及驱动等实现系统内软硬件深度融合等,将全闪存存储性能发挥到极致,保证用户关键应用实现极致性能体验,帮助核心业务轻松跨入全闪存时代,大幅降低了组网难度,并且减少了故障点,让性能更优。

此外,华为OceanStor 18000系列高端存储产品构建的智慧医院全闪存解决方案采用了AA架构,可确保任意数据中心故障后业务的快速拉起,真正做到了RPO与RTO为零,确保核心业务7*24不中断;CDM连续保护技术可以为本地和灾备中心同时提供数据连续保护,双重保护确保数据与业务的快速恢复;更加重要的是,所有流程均为可视化管理,提供事前、事中、事后简单便捷的管理。

东方医院在采用了华为OceanStor 18000系列高端存储产品构建的智慧医院全闪存解决方案之后,业务高峰期压力大幅下降,挂号、候诊和取药时间有着显著改善,业务响应时间从过去超过30秒降低到如今的3秒左右,实现了高峰期挂号不卡顿、全天候接诊不中断。

六、总结

大型三甲综合医院,业务量及业务体系庞大,医院核心业务的稳定可靠尤为重要,而随着智慧医院的快速发展,数据存储的稳定可靠与性能高低,将直接影响智慧医疗建设成效。华为OceanStor 18000系列高端存储产品构建的智慧医院全闪解决方案,完美解决了东方医院当前HIS核心业务系统在运行时遇到的性能不足,业务卡顿等问题,助力医院构建面向云服务时代的开放和共享的数据架构,也保障了数据的可靠性和业务的连续性,为东方医院快速实现智慧医疗保驾护航。

七、医院未来规划

随着新技术的不断更新,智慧医院建设不断深入,基于5G移动通信、互联网、物联网、云计算、大数据、人工智能等先进的信息技术将被广泛应用于医院信息化,新技术的快速发展对IT基础架构也会提出更高的要求,未来将与华为继续探讨东方医院数字底座的搭建方案。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

6

添加新评论11 条评论

匿名用户
2021-04-02 15:03
真的 非常好 学习了
君羊天下君羊天下网络工程师, 广州必诺数码科技有限公司
2020-12-26 17:43
作者方案写的很详实,但是有一个问题我还没用搞清楚,就是双活脑裂问题怎么解决的?
天衣无缝天衣无缝工程师, 杭州市中医院
2020-12-11 08:06
希望能知道OceanStor在医院做容灾系统使用中的优劣和OceanStor对于异地双活系统的设计
曲奇曲奇系统工程师, 宝安医院
2020-12-10 14:37
本文内容详实,给我们医院信息化建设起到了一个很好的启发作用。为我们选择华为存储提供了完美的经验借鉴。其方案实现了整体架构的双活设计,采用了同城异地灾备机制,也考虑到了业务层面的优化,关键技术讲解详实亮点突出,值得借鉴学习。
匿名用户
2020-12-09 18:45
值得借鉴,方案全而精!另外一个一个疑惑就是双活中心建好之后,数据的备份设备或者软件还要再进行增加么?数据产生逻辑错误的可能性有没有,双活中心针对数据的逻辑错误会不会自动同步?
wangddwangdd系统工程师, 河北省人民医院
2020-12-09 17:46
智慧医疗一直都是医院主打方向,都在做这个事情,要实现智慧医疗的稳定可靠,一定要强大的存储底座支持,所以作者这个标题特别对,看了作者的方案设计,基于全闪架构设计,实现双活值得借鉴学习。
jakeyyujakeyyu系统架构师, 三甲医院
2020-12-09 17:40
本文内容详实,给我们医院信息化建设起到了一个很好的启发作用。我们说医院信息系统的关注点其实主要在业务的稳定性、io吞吐、以及数据安全,本文作者所在部门建设了基于华为全闪存储的医院信息系统的基础设施,实现了整体架构的双活设计,采用了同城异地灾备机制,也考虑到了业务层面的优化,关键技术讲解详实亮点突出,值得借鉴学习。
匿名用户
2020-12-07 17:21
作者的关键技术点介绍很详细,值得一看。侧面展示出了华为OceanStor系列全闪架构存储全面优势。
michael1983michael1983技术总监, 某证券
2020-12-07 16:21
His系统是医院的最关键最核心的系统,重要性不言而喻,选择华为,意味着华为的产品品质是有保障的,坚决点赞! HyperMetro+Hyper Copy方案,完美适配两地三中心的网络架构,最终实现了“业务响应时间从过去超过30秒降低到如今的3秒左右,实现了高峰期挂号不卡顿、全天候接诊不中断”,性能怪兽,期待更多解决方案和场景!
hufeng719hufeng719系统工程师, 某钢铁企业
2020-12-07 16:05
文章内容较详细,OceanStor系列全闪架构存储可以很好的助力企业信息化发展。有个小问题咨询下:原有系统平滑迁移到新的存储时贵公司使用的存储镜像,在应用端使用的多路径吗?数据复制只是单纯的从存储层实现而不通过操作系统吗?
mayu0630mayu0630数据库管理员, 北明
2020-12-07 15:25
华为OceanStor系列全闪架构存储可以满足医院IT基础构建性能的需求,华为OceanStor系列全闪架构存储的性能与高级特性可以超过市面上绝大多数的存储产品。
Ctrl+Enter 发表

本文隶属于专栏

最佳实践
不同的领域,都有先行者,实践者,用他们的最佳实践来加速更多企业的建设项目落地。

相关文章

相关问题

相关资料

X社区推广