平台人生
作者平台人生2016-12-06 09:56
软件开发工程师, 平台人生

POWERVM LPM动态分区迁移过程研究

字数 3357阅读 7779评论 0赞 3

作者:汪茹
文章来自微信公众号:平台人生


1 LPM技术简介

动态分区迁移(Live Partition Mobility)是IBM 最新的虚拟化技术之一,它允许您将正在运行的AIX 或Linux 分区,以及它们所承载的应用程序从一台Power服务器迁移到另一台Power服务器,而不会对基础服务产生影响。它是IBM虚拟化技术的一大亮点,通过这一项技术,我们在做硬件维护、升级时可以降低计划内宕机时间,面对日益增长的工作量和资源需求时,可以很好的实现负载平衡、资源平衡,随着业务发展可以通过整合服务器资源降低能源消耗。
LPM 按照逻辑分区的情况分为冷迁移(Inactive Migration,被迁移的逻辑分区已关闭)和热迁移(Active Migration,被迁移的逻辑分区还在对外提供服务),按照系统的管理方式分为HMC 之间的动态分区迁移和IVM 之间的动态分区迁移。由于热迁移相比冷迁移配置及迁移过程都相对复杂一些,同时我行一般都通过HMC的方式进行管理,本文仅以HMC控制下的热迁移为例进行介绍。

2 LPM迁移过程

典型的LPM迁移的迁移内容包括处理器状态、内存、虚拟设备和已连接的用户,为保证源主机的运行状态能原封不动的移植到目标主机,我们主要进行了以下4个过程:
• 准备(Preparation):准备一套基础设施环境支持LPM迁移,此环境既包括源主机也包括目标主机。
• 验证(Validation):验证是进行 LPM 之前可选的一步操作,它可以帮助用户检查环境是否已经准备就绪。验证操作提供的错误信息和警告信息可以帮助用户及时修正错误,以保证迁移过程的顺利进行。
• 迁移(Migration):由 HMC提供的功能。使用迁移操作,可以完成活动分区从源系统到目标系统的动态分区迁移。迁移过程中如发生错误,所有的状态都将回滚至迁移前。
• 结束(Completion):在原系统及HMC上释放不用的资源。
2.1 准备及验证
准备一套符合 LPM 功能特定要求的物理系统,并对其环境进配置是迁移成功的必要条件。分区我们也称VIOC,待迁移VIOC我们也称源VIOC,下面我们从不同的软硬件环境维度来对LPM动态分区迁移的执行条件进行概括,具体见表1。正式迁移时任何一项不满足条件都可能导致迁移过程的失败,所以在迁移前需按照相关迁移条件进行准备和验证。

2.2 迁移
准备及验证步骤通过后,就可以在源系统上通过HMC提供的可视化界面完成VIOC的迁移,也可以在命令行模式下执行迁移命令(migrlpar -o m -m 源系统 -t 目标系统 -p 待迁移VIOC -w 等待时间)完成迁移。
迁移过程主要完成了待迁移VIOC配置信息、内存状态从源到目的物理机的迁移,迁移期间如果发生错误,迁移过程将被取消,所有操作将被回滚。

1、 待迁移VIOC配置文件的迁移,见图1中步骤○1;每个VIOC都有一个配置文件记录了VIOC处理器、内存、虚拟适配器的配置信息,通过此配置文件实现主机对VIOC资源的分配。VIOC配置文件的迁移通过主机的FSP板卡(FSP板卡实现了主机与HMC之间的通信)及HMC实现,将原配置文件从源FSP传递至源HMC,再被传递到目标HMC和目标FSP,目标FSP获取配置文件信息后将在本地依照此信息建一个新的VIOC。
2、 HMC配置源和目的MSP;配置完后,HMC将通知源操作系统准备迁移。配置MSP的目的主要是保证VIOC通过VASI适配器与各自的POWER hypervisor建立连接,同时拥有一个私有的全双工的通信信道用来传输VIOC的内存状态,这个私有的通信信道一般是VIOS的代管网。热迁移涉及到对内存、处理器和其它各种资源状态等动态数据的拷贝,冷迁移则没有这个需求。
3、 存储的迁移,见图1中步骤○2;HMC在目标VIOS上配置虚拟存储设备,如VFC、VSCSI适配器等,使目标VIOS连接至与原VIOS同样的外部存储(SAN存储)。由于VSCSI的存储映射过程为先将SAN磁盘分配给VIOS,再将其映射到VIOC的LPAR 中,而NPIV是直接将存储分配给客户端上虚拟 FC 适配器的 WWPN。所以两者的迁移方式稍有不同:
1)VSCSI的迁移方式是VIOC迁移前,需要将原有VIOS上的该VIOC使用的vscsi存储磁盘,映射给目标双VIOS,使目标双VIOS都可以识别到磁盘。
针对 LPM 的 VSCSI 映射步骤:

  • 存储将源和目标 VIOS WWN 和 SAN WWN分区(zone)划分在一起;
  • 存储将原VIOS上的该VIOC使用的vscsi存储磁盘映射给目标VIOS;
  • 源和目标VIOS都可识别到磁盘。

    2)NPIV迁移方式是VIOC虚拟机每块FC卡上有两个WWN号,第一个WWN号用于新创建虚拟机连接存储磁盘使用,第二个WWN用于虚拟机迁移VIOC迁移前,需要将原有VIOC上的NPIV 存储磁盘,映射给目标VIOC,需要存储更新zone和mapping磁盘,将原有VIOC的第二个WWN号映射给原有的磁盘。具体步骤为:
  • 存储将 NPIV第二个 WWN (World Wide Name) 和 SAN WWN 分区(zone)划分在一起;
  • 确保目标 VIOS 与 SAN 存储建立物理通路;
  • 目标 VIOC识别到SAN 存储;

4、VIOC内存状态页的迁移
VIOC内存状态页的迁移过程见图1中步骤○3,存储迁移完成后,源系统开始发送源VIOC的物理内存页至目标VIOC的物理内存中,PowerVM通过内存迁移技术实现内存状态的迁移,通过一致性策略来保证源和目标迁移数据的一致性。下面主要描述一下内存迁移技术和一致性策略。
1)内存迁移技术
VASI适配器与 hypervisor协同实现VIOC内存状态迁移的技术我们称为内存迁移技术,具体迁移路径可描述为:

  • 1 源HYPERVISOR为VIOC的内存页状态产生快照;
  • 2VIOC内存页状态的快照由源HYPERVISOR通过VASI适配器传给源MSP;
  • 3源MSP将VIOC内存页状态快照通过VIOS代管网流量传给目标MSP;
  • 4目标MSP将VIOC内存页状态快照通过VASI适配器传给目标HYPERVISOR;
  • 5目标HYPERVISOR按照VIOC的内存状态建立一个空的VIOC。

2) 一致性策略
由于我们采用的是LPM热迁移,应用会一直处于活动状态,待迁移VIOC物理内存的状态可能会一直发生改变,在进行迁移过程中,LPM是通过以下步骤来保证数据的一致性

  • 第一次迁转移过程中,被修改的内存页被标记为修改或脏;
  • 第一次迁移完成后,源MSP重新发送所有的脏页;
  • 重复步骤2直至标记为脏的页的数目不再减少,或者页数小到一定范围或者到达超时时间;
    由于线程一直活动,在设定的时间内一直存在脏页,无法保证传输过去的内存页的一致性,此时,需要执行VIOC挂起操作完成剩余页的迁移:
  • MSP给源hypervisor下指令挂起待迁移VIOC;
  • VIOC确认挂起所有正在运行的线程;
  • 源MSP开始传送VIOC状态至目标服务器;
  • 当目标MSP接收来自源系统的最后一个脏页时,迁移完成,挂起窗口结束。

2.3 完成
迁移步骤完成后,将在目标VIOC上恢复操作系统的状态,并将所有资源返还源和目标系统,具体步骤为:
1、内存页迁移完成后,关闭源和目标MSP之间的通信信道;
2、源VIOS删除源VIOC相关的VFC、VSCSI等存储适配器;
3、AIX通知内核和相关应用程序迁移完成,可以开始执行相关恢复操作;
4、HMC通知源和目标MSP迁移完成,MSP从表中删除迁移数据;
5、HMC删除源VIOC,从源FSP上移除源VIOC配置文件。

3 总结

本文主要介绍了执行LPM的几个步骤,重点讲述了迁移过程中配置文件、存储配置、内存页面如何迁移。LPM技术虽然在日常运维过程中提供了极大的便利,但是它有一定的限制条件,比如不适用于计划外宕机,有一定的负载开销。待迁移VIOC内存大小,VIOC迁移过程中内存内容改变量、MSP之间的网络带宽、源和目标物理机VIOS CPU资源都会影响LPM执行的时间和性能,在具体的迁移过程中需做进一步分析。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

3

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料

X社区推广