大型数据中心“双活”应用探析

随着信息技术在金融业的深化应用，国家和社会公众对金融信息系统的业务连续性及数据安全提出了很高要求。近年来各金融机构不断加大投资和建设力度，在灾备中心建设方面取得了很大进展。随着同城、异地灾备中心的建成，新的问题也逐渐出现：传统主备模式的容灾中心设计资源利用率不高、切换难以较高保证成功率、人员不能得到充分锻炼等问题一直困扰着大家。随着虚拟化和“云计算”从概念走向成熟应用，双运营中心和双活中心的设计逐步受到关注，并开始在这个方向上进行探索和尝试。下面笔者从建设双活应用系统入手，以探求双活数据中心的可行性和建设路径。

一、案例系统简介

        本文以公民身份联网核查系统（以下简称PICP系统）为例。PICP系统自2007年上线以来业务量持续增长，目前日均业务量为1300万笔，月业务量已突破4亿笔。

        PICP系统为各金融机构办理日常业务提供快速信息核查，目前接入机构333家，信息来源于另一外部单位，本地不截留保存核查信息，系统仅对信息核查做日志登记，并进行统计分析，为内部管理单位检查金融机构政策执行情况提供依据。在PICP系统中，各级金融机构提交的信息核查有两种方式，即单笔核查和批量核查。技术上通过消息型中间件接口和Web直接访问两种报文提交模式，其中接口方式的业务量占主导地位，日均约11000000笔，占查询总量85％。后台使用服务总线进行报文路由，使用承载应用逻辑。

        PICP系统是金融机构开展日常业务基础支撑系统，是维护金融稳定、防止金融欺诈、协助司法机关办理经济犯罪案件的基础。该系统特点是外联机构众多、访问量巨大(日均业务量超过1300万笔)、报文转发实时性和系统可用性要求高，业务逻辑设计相对简单，对系统数据（主要是日志数据）丢失有一定的容忍度。

二、双活设计目标

        我们的目标是建立一套双活运行环境，确保PICP系统对外提供持续不间断的服务，并保证核查信息的高速转发，充分发挥双活模式下各处理中心的生产控制灵活性和各中心负载动态可控性，提高业务的高可用性和高可靠性。

        具体目标：双中心同时对外提供服务；一个中心停止服务后可自动切换到另外一个中心，对外提供连续性服务；自动切换对于接入端是透明的；切换策略可集中配置，也可由访问接入端自动或手动发起访问切换；建立基于IBMMQ组件的双活同城灾备体系架构，RTO≈0；实现MQ消息流量动态负载均衡；实现HTTP申请的流量动态负载均衡；接入端数据流量智能化双向控制；通用、可复用的消息路由前置设计；支持多中心、异地灾备扩展；提供通用前置、接口方式两种可选的实现方式；自主、可选的数据一致性保护策略；灾备策略的集中制定与云端控制。

三、双活设计基本思路

        基于PICP系统的特点，结合既定的双活设计目标，我们提出总一分结合的数据智能分流机制，以实现自动负载均衡和故障接管。基本设计统筹考虑了负载均衡、故障接管、回切、数据同步等关键内容。系统的部署及控制流程图如图1所示。

[attachimg]51081[/attachimg]

  1．负载均衡设计        接口模式的负载均衡设计。在生产中心部署总控系统（双活切换管理系统），接入端部署分控系统（接入前置系统）。总控系统配置智能切换策略结合双中心生产系统负载和健康情况，通过分发策略调整接入端访问路径。部署在接入端的分控系统执行总控系统的策略，同时通过既定的策略判断所访问站点的健康情况，超过阀值后自动切换到另一站点运行。

        Web模式负载均衡设计。通过复用现有的F5负载均衡器实现Web访问的负载均衡。

        2．故障接管设计        接口模式的故障接管设计。当其中一个中心发生故障时，总控会根据监控信息优先探知故障并向分控系统分发切换策略，原接入故障站点的接入端分控系统执行总控下发策略，切换连接到健康站点继续运行。若总控策略未能及时下发到分控系统，原接入故障站点接入端的分控系统也会根据既定的策略探知原站点不可用，调整接入端访问健康站点。总控系统和分控系统都提供手动调整功能，供运维人员手动调整接入到特定站点。

        Web模式故障接管设计。通过复用现有的F5负载均衡器实现Web访问的自动切换。

        3．回切设计        故障站点恢复后，总控根据负载情况调整接入端接入策略，下发至需要调整的接入端分控系统，分控系统指挥接入端分流访问两个站点。故障站点恢复后，重新发布访问地址，使用Web方式访问系统的接入端通过F5负载均衡器直接分流访问两个站点。

        4．数据同步设计        PICP系统中的数据分为两类：字典数据、机构和人员信息，以及查询日志信息、归档日志统计报表信息。第一类数据需要进行实时同步，以保证站点两端数据一致性，考虑通过复制机制实现数据实时同步。第二类查询日志数据由于数据间无关联性，且对数据丢失有一定的容忍度，为保护核查信息高速转发的特点，日间服务期间不进行数据同步，夜间维护时间窗口进行两个站点数据的归集校验归档工作，并产生各统计报表。

四、关键技术探析

        PICP系统双活设计的关键技术是总一分结合的数据智能分流机制。该设计由自主研发的总控系统和分控系统组成。

        总控系统设计主要实现以下功能：一是实时探测双中心生产系统的负载和健康情况；二是根据负载情况制定负载均衡配置或接入切换策略；三是通过向分控系统分发访问调整报文，调度分控系统调整访问路径；四是提供自动和手工控制两种模式，提供管理员手工配置。总控系统同时部署在两个生产中心，采取主备模式部署。

        分控系统设计主要实现以下功能：实时接收总控系统的调度信息进行访问路径确认；根据既定的计算策略探测两个中心的负载和健康情况，在总控系统调度失效的情况下，自发发起切换。

        总一分结合的数据智能分流机制的关健实现技术是总控系统和分控系统的智能策略配置。总控系统依据运维监控系统反馈的负载和报警信息，通过设定合理阀值确定调度策略；分控系统对报文成功率和平均返回时间进行综合计算，确定接入端访问路径。上述策略及各项阀值的制定应根据实际运行情况动态调整，避免过于频繁的非必要切换，降低因切换导致的丢包率，保障系统稳定顺畅运行。

五、总结

        通过上述分析，总一分结合的数据智能分流机制在使用IBM MQ作为信息传输通道的系统中，可以实现有效的动态路径选择，使系统的双活运行得以实现。该方法具有一定的推广性，且自主研发的总控系统和分控系统通过更为详细的设计，可为多个使用MQ作为信息传输通道的系统提供双中心，甚至多中心动态路径选择，为系统双活、多活应用奠定技术基础。

        （作者简介：詹浩、李阳，中国人民银行金融信息中心；郗新江，中国金融电子化公司）