chinesezzqiang
作者chinesezzqiang2017-12-19 12:08
信息技术经理, M

基于双VIO的Power 虚拟化高可用解决方案

字数 8046阅读 4138评论 1赞 6

本文作者:张志强


摘要

在IT技术快速发展的今天,虚拟化技术日趋成熟,由于其在资金节省和IT效率提高上的优势日益明显,越来越多的企业也开始部署虚拟化平台。IBM的Power VM虚拟化解决方案一直占据UNIX平台的领先位置。
国内外的众多企业也逐渐的将各自重要的业务转移到了Power平台中,为了保障业务的连续性和稳定性,高可用的需求就应运而生。本文则主要以实现如何在IBM Power服务器上实现LPAR的规划和部署,通过双VIO在单机Power上实现一定程度的高可用性。为了方便理解,将通过以往的项目实战与经验,把操作实施过程记录下来,供大家参考。主要有以下几个主要内容。

  • 简介
  • Power VM虚拟化架构设计
  • Power VM虚拟化规划与实施
  • Power VM虚拟化的配置

一、简介

1、背景介绍

通过以往的实施经验,在大多数情况下企业IT并没有将硬件的资源充分利用,资源分配不合理。随着企业业务的不断发展,企业的IT环境也在不断进行演变。机房的服务器数量也在逐渐形成规模,数量多、型号多、利用率低、管理复杂是IT人员最头疼的事。同样企业的决策层也为IT成本不断升高、管理难和使用复杂的问题所苦恼。核心业务处于单点运行的状态下,很难保证服务的有效性。

考虑到上述问题,项目采用IBM领先的虚拟化技术Power VM实现服务器虚拟化。并通过IBM提供的双VIO设计方案,最大化资源的利用率,实现资源动态调整、LPAR高可用性、虚拟机动态部署迁移、全方位虚拟化及集成。从而简化 IT 基础设施,降低成本,增强服务的连续性,有效性。

2、Power VM 虚拟化介绍

Power VM 为 IBM Power Systems上的 AIX、IBM i 和 Linux 操作系统提供行业领先的虚拟化技术。
Power VM 自身的一些领先的优势和特征,如微分区、动态逻辑分区、共享处理器池、共享存储池、实时分
区迁移、Active Memory 重复数据删除等,能够针对客户端的不同需求,虚拟化处理器、内存、存储和 I/O 资源,从而可提高资产利用率、增强基础架构灵活性并降低成本。

Power VM是基于Power5以上处理器的IBM System P上的可选硬件特征。有三个版本,分别是Power VM Express Edition,Power VM Standard Edition,Power VM Enterprise Edition。

(1) Power VM Express Edition
Power VM Express Edition只能在IBM Power520、Power550、PS700、PS701、PS702、PS703、PS704、Power710、Power720、Power730、Power740和Power750这几种服务器上购买。它们的主要功能包括:最多可以创建三个分区,支持微分区虚拟化功能,支持Shared Dedicated Capacity,支持Power VM Lx86功能不支持Multiple Shared Processor Pools,Live Partition Mobility和Active Memory Sharing功能,分区创建和管理使用IVM工具。

(2) Power VM Standard Edition
Power VM Standard Edition可以在全部的IBM Power服务器上购买。它们的主要功能包括:对分区数量没有限制,支持微分区虚拟化功能,支持Shared Dedicated Capacity,支持Power VM Lx86功能,支持Multiple Shared Processor Pools功能。不支持Live Partition Mobility和Active Memory Sharing功能。分区创建和管理可以使用IVM或者HMC工具。
(3) Power VM Enterprise Edition
Power VM Enterprise Edition可以在全部的IBM Power服务器上购买。它们的主要功能包括:对分区数量没有限制,支持微分区虚拟化功能,支持Shared Dedicated Capacity,支持Power VM Lx86功能,支持Multiple Shared Processor Pools功能,Live Partition Mobility功能和Active Memory Sharing功能。分区创建和管理可以使用IVM或者HMC工具。

此文章将主要介绍企业版Power VM。

图片1.png

图片1.png

图1-1 Power VM虚拟化原理图

3、管理平台

HMC:全名 Hardware Management Console,是一个图形界面软件,运行在经过定制的Linux之上。用户可以通过基于Web的图形用户界面GUI(graphical user interface)和命令行界面CLI(command line Interface)配置和管理Power System系列服务器以及服务器上的分区。系统管理员也通过HMC对Power System 服务器上的分区进行配置和日常管理。

图片2.png

图片2.png

图1-2 HMC连接图

VIO Server:谈及Power VM虚拟化技术,就不得不说VIO,全称为虚拟I/O服务器。VIO server是一个IBM的虚拟化软件,有限制的 AIX 操作系统。通过它来配置和映射虚拟资源并使用虚拟的存储 和网络适配器,其本身由HMC创建管理。 默认不允许 root 用户直接登录,登录用户名为 padmin,缺省口令无。通过 oem_setup_env 进入 VIO 的环境,可以很方便的使用我们熟悉的 AIX 命令达到大多数操作相同的效果。

4、硬件基础设备

IBM Power7+ 740服务器:
Power 740 是一款单插槽或双插槽服务器,可在灵活的4U 机架优化外形下支持多达16个POWER7+ 内核。Power 740 提供了超高的内存容量,POWER7+ 处理器超凡的性能,及Power VM工作负载优化功能。通过提高系统的利用率和性能,并同时帮助降低基础架构和能源成本,使企业能够充分发挥其系统的价值。Power 740 的最新型号增添了更高的内存容量和更高性能的 POWER7+ 处理器以及高带宽的第2代PCI-Express 插槽,可以提供更卓越的性能。

IBM Hardware Management Console with version 7:
IBM硬件管理控制台(Hardware Management Console)提供了标准的用户接口来配置和管理Power System系列服务器以及服务器上的分区。系统管理员通过HMC对Power System服务器上的分区进行配置和日常管理。

IBM Storwize V7000:
提供了与虚拟化服务器环境配套的虚拟化存储系统,具有无与伦比的性能、可用性、先进的功能和高度可扩展的容量,这在中端磁盘系统中是前所未有的。同时支持10Gbps网络环境也是我们选择V7000的重要理由之一。
强大的功能优势如下:
A 整合块存储和文件存储,以便实现卓越的简易性、更高的效率和管理简易性
B 通过动态迁移实现近乎连续的应用程序可用性
C 易于使用的数据管理采用图形化用户界面和点击式系统管理功能
D 支持RAID 0、1、5、6 和 10

表2-1硬件列表:
|硬件|角色|说明|
| ------------ | ------------ | ------------ |
|IBM Power 740+|VM Host|物理系统:Power 740 |
|IBM HMC V7|Partition Manager|1.物理系统:IBM system X 2.运行HMC v7版本|
|IBM Storwize V7000|Storage|1.通过光纤卡连接存储 2.RAID5|

三、Power VM虚拟化规划

在整个文章的架构设计中,我们完全采用IBM产品来实现虚拟化。从众多IBM的产品中,我们选择了如下产品进行整合实施。

以下架构主要是为了在VIO出现问题时,不会影响LPAR的使用和业务的正常运行。从下图可以看出,双VIO中的LV被交叉分配给不同的LPAR,并做rootvg的镜像。每个LPAR设置两块网卡分别连接不同的VIO,使其网络上保持连通在单个VIO出现故障的时候。

图片3.png

图片3.png

图2-1VIO网络架构原理图

图片4.png

图片4.png

图2-2 VIO存储架构原理图

一个Power 740+预计建立两个VIO server,15个LPAR。每个VIO服务器建立15个虚拟SCSI适配器,每个LPAR两个虚拟SCSI适配器和两个虚拟网络适配器。

QQ截图20171219113334.png

QQ截图20171219113334.png

QQ截图20171219113417.png

QQ截图20171219113417.png

四、Power VM虚拟化安装

1、创建VIOs

以下将通过HMC V7在P740+上建立第一个VIO。如下图所示,选择一台740服务器,选择 Configuration--Create Logic Partition--VIO server

图片5.png

图片5.png

图4-1 建立VIO Lpar

输入Partition ID 和Partition Name,完成后点击下一步:

图片6.png

图片6.png

图4-2输入分区名称

输入分区概要文件,完成后点击下一步:

图片7.png

图片7.png

图4-3输入分区配置文件

在划分CPU时有Shared及Dedicated两种选项,根据项目实际情况,当需要动态调整CPU或者不需要使用整颗CPU的系统,选择Shared方式。如果确定了分区使用整数颗CPU时,建议选择Dedicated方式(对于VIO Server,由于其CPU需求较少,建议使用Shared方式,不需要分配整颗以上CPU)。

图片8.png

图片8.png

图4-4选择shared模式

根据需求划分CPU使用量,由于VIO不占用很多的CPU,所以期望值设为0.5,可以根据实际需求调整,完成后点击下一步:

图片9.png

图片9.png

图4-5输入VIO的CPU值

VIO需要的内存量也相对较少,所以此处设置为8G,完成后点击下一步:

图片10.png

图片10.png

图4-6输入VIO内存值

对于使用VIO Server配置的系统,由于预备建立双VIO,所以建议把所有IO资源平均分配给Server端,Client端使用虚拟设备。选择部分设备添加为必需的IO资源。

图片11.png

图片11.png

图4-7分配I/O资源

虚拟适配器设置,根据需要建立四个虚拟适配器,创建Adapter ID-2对应Vlan ID-1;Adapter ID-3对应Vlan ID-2;Adapter ID-4对应Vlan ID -10;Adapter ID-5对应Vlan ID -20。

图片12.png

图片12.png

图4-8输入虚拟网卡ID

根据需要建立的Client分区个数建立相应数量的Virtual SCSI Adapter,每块硬盘创建一个VSCSI Adapter, 分别创建VIOSERVER SCSI adapter ID 是31、32、33分别对应vhost30、vhost31、vhost32。

完成后点击下一步:

图片13.png

图片13.png

图4-9虚拟适配器

启用连接监控,并点击下一步:

图片14.png

图片14.png

图4-10启用连接监控

预览Profile配置信息,如果确认完成,选择Finish. VIO Server Profile 配置建立完成。效仿第一个VIO的建立方式,建立第二个VIO Server,名称为testv2。并将剩余I/O资源分配给第二个VIO。

2、创建LPAR

照建立VIO的方式建立LPAR,注意名称和I/O设置。

对于虚拟适配器,根据需要建立两个虚拟适配器,创建Adapter ID-2对应Vlan ID-2;Adapter ID-3对应Vlan ID-1;每个Client分区建立三个Virtual SCSI Adapter,分别创建VIOSERVER SCSI Adapter ID 是31、32、33分别对应vhost30、vhost31、vhost32。

3、安装VIO Server

为了安装VIO Server软件,我们需要激活第一个VIO分区,并选择SMS模式启动,在HMC界面,选择Open Terminal Windows 打开终端。

图片15.png

图片15.png

图4-11激活分区配置文件

图片16.png

图片16.png

图4-12打开终端窗口

进入SMS菜单,更改启动顺序,选择5。

图片17.png

图片17.png

图4-13引导窗口

将插有VIO安装盘的cd作为第一个启动项。

图片18.png

图片18.png

图4-14选择启动项CD

进入欢迎界面,选择全新安装。

图片19.png

图片19.png

图4-15欢迎界面

图片20.png

图片20.png

图4-16安装方式

选择hdisk0硬盘安装VIO Server操作系统,然后回车开始安装。

图片21.png

图片21.png

图4-17选择安装硬盘位置

安装完成后,自动重启并进入操作系统。

五、Power VM虚拟化配置

1、配置VIO Server

系统安装完成后,用户名和密码均是padmin。由于默认并非root权限,所以无法划分LV从rootvg中。键入oem_setup_env进入到aix root模式,通过mklv -y Client01_lv1 rootvg 30G ;mklv -y Client01_lv2 rootvg 30G 建立两个LV。

首先通过mklv命令在VIO1的rootvg中分出30G的lv,详细命令如下:

#mklv -y Client01_lv1 rootvg 30G
Client01_lv1---命令执行成功
# mklv -y Client02_lv2 rootvg 30G
Client02_lv2---命令执行成功
#exit
$ mkvdev -vdev Client01_lv1 -vadapter vhost31 -dev client01rootvg
client01rootvg Available----命令执行成功
$ mkvdev -vdev Client02_lv2 -vadapter vhost37 -dev client02rootvg
client02rootvg Available----命令执行成功

在VIO2中输入如下指令:

# mklv -y Client02_lv1 rootvg 30G
Client02_lv1----命令执行成功
# mklv -y Client01_lv2 rootvg 30G
Client01_lv2----命令执行成功
# exit
$ mkvdev -vdev Client02_lv1 -vadapter vhost30 -dev client02rootvg
client02rootvg Available----命令执行成功
$ mkvdev -vdev Client01_lv2 -vadapter vhost31 -dev client01rootvg
client01rootvg Available----命令执行成功
mkvdev -sea ent1 -vadapter ent0 -default ent0 -defaultid1---生成SEA网卡
Ent2 available----命令执行成功

Smit tcpip来设计VIO ent2的IP地址
为了批量和快速的部署AIX到两个LPAR中,我们可以通过NIM server进行安装。系统安装完成后,通过如下命令分别在不同的client上,将hdisk0与hdisk1进行镜像。
extendvg rootvg hdisk1------将hdisk1加入到rootvg中
mirrorvg -S rootvg-----镜像并进行后台同步
0516-1804 chvg: The quorum change takes effect immediately.
0516-1126 mirrorvg: rootvg successfully mirrored, user should perform
bosboot of system to initialize boot records. Then, user must modify
bootlist to include: hdisk0 hdisk1.
按照上述提示执行bosboot -ad /dev/hdisk1-------将启动信息写入到hdisk1中
bootlist -m normal hdisk0 hdisk1---设定启动顺序
bootlist -m normal -o---------查看最终结果
hdisk0 blv=hd5 pathid=0
hdisk1 blv=hd5 pathid=0
通过网卡命令将每个client上的网卡聚合,实现冗余,命令如下:
Smit etherchannel---Add An EtherChannel /Link Aggregation---选择两块网卡--回车将生成新的网卡ent2,并通过smit mktcpip来设定IP地址。

2、测试可用性

场景一:通过HMC手动去掉client的一块网卡,通过远程ping 192.168.4.240 去判断client在断开一个网卡的情况下的通信状况。

从下图中可以看出网络并没有发生中断,通信正常。

图片22.png

图片22.png

图5-1测试连通性

场景二:通过HMC手动停掉一台VIO服务器造成意外现象后,查看两个LPAR是否可以正常启动从下图中可以看出client1和client2都没有被影响,正常启动,并通信正常。

图片23.png

图片23.png

图5-2Client登录窗口

六、总结

本文介绍了在企业中部署Power VM虚拟化系统时,如何根据Power VM的特点通过设计和配置双VIO的架构,在单机情况下实现多个节点的高可用性和稳定性。从而为整个企业级Power VM虚拟化的高质量的可靠服务奠定了基础。本文从VIO的架构设计与配置,LPAR的设计和AIX 系统的镜像等多个层级去考虑和设计可用性,保证当某个VIO出现问题不会影响到整个LPAR的正常运行和业务的正常访问。

参考资料

IBM网站为Power产品和存储产品提供了丰富的文档资料,用户可以从以下的链接中获得详细帮助
息。

  1. IBM Power VM Best Practices http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg248062.html
  2. IBM Power System HMC Implementation and Usage Guide http://publib-b.boulder.ibm.com/abstracts/sg247491.html
  3. Power 7 and Power7+ Optimization and Tuning Guide http://publib-b.boulder.ibm.com/abstracts/sg248079.html
  4. IBM Flex System V7000 Storage Node Introduction and Implementation Guide http://publib-b.boulder.ibm.com/redpieces/abstracts/sg248068.html

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

6

添加新评论1 条评论

#915122026yjt系统工程师, 某电信运营商
2018-06-01 15:07
谢谢分享,十分有用
Ctrl+Enter 发表

本文隶属于专栏

最佳实践
不同的领域,都有先行者,实践者,用他们的最佳实践来加速更多企业的建设项目落地。

关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
© 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30