PowerHA在泰康人寿核心系统上的应用

背景介绍

泰康人寿保险股份有限公司系1996年8月22日经中国人民银行总行批准成立的全国性、股份制人寿保险公司，其核心业务系统采用CSC的LIFE/ASIA.服务器采用IBM AS/400系列，业务数据超过10TB，随着数据量的高速增长，基于日志的HA系统（MIMIX）在使用中暴露出了一定的问题，主要表现在：

1）备机Apply 延迟问题, 在系统运行批处理时表现的尤为严重，延迟会使RTO时间得不到保证

2）由于采用实时异步复制模式、非计划性切换有数据丢失的风险

3）文件在复制时偶尔会有错误，主-备机数据存在一致性风险

4）对部分应用程序支持不好（MQ、DP4）

设计思想：

外置存储

随着Power6技术、新的4.8GB光纤卡和V6R1操作系统的发布，System i 对SAN的支持进一步增强，下表是内置存储跟外置存储功能和性能方面的对比：

基于存储的复制技术

相对于内置存储，外置存储可以提供更好的IO性能，更强大扩展和共享性，并且提供存储级的数据同步（Metro Mirror），在同步模式下可做到数据零丢失。

PowerHA-Metro Mirror是IBM基于IASP的存储级复制方案，支持DS6000和DS8000。应用和DB放到IASP上，由PowerHA自动管理，同步模式下每一个写交易都要在主备两个存储上先后完成，从而保证了数据的完整性。先备后主的写操作顺序可以保证切换时做到数据零丢失。系统切换可以由集群软件 PowerHA (V6R1版本)自动完成，时间短，无需手工参与从而大大减少了RTO的时间。

基于Flash Copy的备份

外置存储的Flash Copy功能可以解决备份时间窗口不足的问题。Flash Copy可以在很短的时间内把生产数据复制到另外一个独立的分区，而生产系统几乎不受影响，这样就使数据备份跟生产系统完全的拆离。

两种复制模式相结合

基于存储的复制技术和基于日志的复制技术都有自己的优点，同时也都有自己的先天不足，下表是两种方案的对比：

由表中可以看出基于日志的复制方案更加适合做灾备系统，同时可以弥补源数据逻辑损坏时（如表Damage）PowerHA无法恢复的问题。基于以上考虑我们采用了基于日志的复制和基于存储的复制两种方法混合的方案。

系统架构：

根据系统现状及其业务需求，最终采用PowerHA+MM+MIMIX模式，本地主备机连接外置阵列DS8000，灾备服务器处于利旧的考虑仍采用内置磁盘，改造后的系统拓扑如下图所示：

架构说明：

1）服务器：IBM I780 X 2 ， CPU: 3.9GHZ 34核 ，内存：408G，操作系统： OS/400 V6R1

2）存储：DS8870 X 2，8-way处理器,256GB cache,32个8Gbps主机端口， 86TB物理容量。

3）I780通过交换机与DS8000连接，HBA卡和交换机之间、交换机与交换机之间的连接均采用冗余的设计，以保证连接的可靠性。

4）DS8000系列存储存放采用Raid5，保障数据安全性。

5）生产机划分两个分区PRD和FC，PRD分区跑核心业务，FC分区做业务数据备份, 备份主机i780建立两个分区 :HA分区和MIMIX分区，HA分区作为热备机随时准备接管PRD分区上的数据和程序。

6）主8000存储分成相等的两部分，一部分连PRD分区，一部分连FC分区,备8000分成相等的两部分，一部分连HA分区，一部分连MIMIX分区。

7）每个分区的存储由OS（放到系统ASP上有独立的连接通道）和业务数据（放到IASP上）两部分组成，每个分区的OS部分是独立的通常不做存储级复制。业务数据和程序放在IASP上，IASP上的数据 可以通过存储技术做Metro Mirror复制或Flash Copy复制。

8）主、备存储之间业务数据（A和A’）通过Metro Mirror 技术保证业务数据实时同步（OS部分不做同步）。

9）主8000内（业务数据A和B）每天通过Flash Copy技术做定时同步，供磁带备份使用。

10）MIMIX分区和DR分区通过MIMIX做实时异步复制，可作为查询业务的数据源。极端情况下可作为生产系统使用。

11）PRD分区做生产系统时，HA分区操作系统是活动的（需要时可随时接管业务数据不需重新IPL）但业务数据A’不可见，A’由Metro mirror管理。

发生切换时业务数据A’由HA分区接管，主8000上的业务数据A从PRD分区上分离，由Metro mirror接管，同时PRD分区上的业务IP 、数据库名称等都转移到HA分区上来以保证外围系统不需调整能直接接入HA分区。切换后的拓扑入下图：

注意事项：

PowerHA的实施主要的工作就是IASP的改造，也就是把业务数据、应用程序等转移到IASP上去，这需要对业务系统架构非常熟悉，并提前做详细的设计。一些特定的对象不能放到IASP上如SBSD、USER PROFILE等需要考虑解决的办法。

应用软件的改造（如MQ、DP4等）需要把配置信息、交易数据、日志信息放到IASP上去，License program 要放到系统ASP中。

非计划切换中由于AS/400系统异常终止，备机接管时可能会形成Access Paths Rebuild。这种情况下为了满足RTO的需求，需要对逻辑文件使用SMAPP保护（通常设置10分钟以内，时间越少保护的LF越多同时对系统资源的消耗也越大）。

泰康人寿PowerHA上线以后系统运行稳定，各项指标均达到了设计要求。