manganese_zh
作者manganese_zh·2016-11-16 13:51
系统工程师·内蒙古包头

通过SVC实现存储数据迁移

字数 4022阅读 6799评论 0赞 1

随着企业业务不断发展,数据量也成几何增长。旧存储设备受容量、性能、运行环境等限制,已无法满足业务系统发展的需要,因此核心数据迁移到高性能存储将是保障企业业务连续性的必要工作。

目前,为数据迁移而更换存储设备的主要方法有:

(1)直接拷贝方法:利用操作系统命令直接拷贝要迁移的数据,然后复制到要迁移的目的地,安全可靠。缺点是一般需要脱机迁移。

(2)逻辑卷镜像方法:对需要迁移的每个卷都做逻辑卷镜像,适合于已经拥有逻辑卷管理器的环境,支持在线迁移。缺点是需要准确获取所有LVM配置信息以镜像所有卷,主机层面的相关性强,迁移过程耗用主机的资源多,对业务影响较大。另外如果同时识别不同厂家的存储,一些系统参数和多路径软件经常不兼容,在线迁移时可能会对生产造成不可知的影响。

(3)备份恢复的方式:利用备份管理软件对数据做备份,然后恢复到目的地,此方式迁移速度慢,要求有合适的备份窗口。

(4)直接的阵列到阵列的复制方法:通过盘阵复制软件对数据做迁移。这是比较好的迁移方法,对业务影响极小,最大的缺点是一般只支持同一厂商的同类产品间复制。

(5)存储虚拟化的方法:通过存储虚拟化技术将数据从源端迁移到目的地,兼容主流的存储设备,支持不同厂商不同品牌存储设备间的迁移和容灾,适合于频繁移动数据的大型企业。

综合比较各种迁移方案的优劣点,我们最终选择使用存储虚拟化的方法,即基于SVC的数据迁移方案。

1.2 内容

本文涉及的数据迁移工作主要是利用IBM SVC存储虚拟化设备将原始存储设备IBM DS5000和新购进的IBM DS8800进行虚拟化,并将原始存储内数据迁移到IBM DS8800存储上,实现生产数据的平滑迁移,从而替换原有的旧设备。

2 数据迁移

2.1 环境介绍

数据迁移项目涉及到两台存储,通过四台光纤交换机接入两个SAN网络,待迁移业务为核心应用系统。

2.2 VDM介绍

SVC的数据迁移功能主要有两种,一种是VDM,一种是Data Migaration,前者可以在两个MDG里面保留两份数据,后者只能把数据从一个MDG迁移到两个MDG。为了保持数据的安全,采用VDM方式。VDisk Mirror 是一种数据mirror技术,可以通过SVC,使得每个Vdisk有两份数据copy,分布在两个来自不同阵列的mdisk上。可以在创建vdisk 的时候设置为mirror-vdisk,也可以给已有vdisk增加mirror copy。对于存在数据的image模式的vdisk,可以通过增加image模式的mirrorcopy,该操作需要选择umanaged mdisk,而且要大于或等于原有vdisk容量。

2.3 实施要点

主要的操作步骤概括如下:

  • 将DS5000纳入SVC管理;
  • 将DS5000上的数据Copy到DS8800;
  • 停止对DS5300的访问;
  • 重新映射新存储给主机。

2.3.1旧存储纳入SVC管理

本阶段主要利用SVC的image模式vdisk功能,逐一将目前各个系统所连接的旧存储内的卷进行虚拟化,即通过SVC将旧存储的卷映射给主机,而主机对旧存储卷的读写访问首先会经过SVC处理。

实施前需要确认各操作系统版本和驱动版本满足SVC要求。

实施步骤如下图:

具体实施步骤说明:

停止应用,卸载卷组,删除磁盘

停止应用主要包括停止Cluster(如有配置),确认客户的应用软件,数据库等服务均已关闭,并卸载文件系统,去激活卷组,删除旧存储相关磁盘设备。

可能使用到的操作命令:umount,varyoffvg,rmdev –Rdl hdisk*;

修改光纤交换机ZONING配置

在每个Fabric上删除原系统与旧存储之间的ZONE对应关系,并建立两个新的ZONE:

  • 主机与SVC之间的zone;
  • SVC与旧存储之间的zone;

这些新zone只要包含所有对应的端口即可。

调整旧存储映射信息

通过Storage Manage连接到DS5300存储阵列,阵列识别SVC FC端口,建立SVC Host Group。由于SVC是有两个节点组成的Cluster,每个节点有四个Port,所以需要建立SVC_N1和SVC_N2两个节点,本案中SVC的每个节点的P1,P2端口接到B40-1,B40-2交换机,映射DS5300存储使用;P3,P4端口接入到B40-3,B40-4交换机,映射DS8800存储使用,如下图:

对已有数据的LUN,只需要修改原有主机组和映射关系即可。

SVC识别旧存储的LUN

在SVC上重新detect mdisk,并核对映射过来的volume数量以及LUN ID。将新发现的mdisk改名,以减少误操作可能。

SVC建立Image ModeVdisk并映射给主机

  • 建立两个空的Mdiskgrp,分别给两个存储使用。
  • 将每个新的Mdisk创建为Image Mode Vdisk,并加入响应MDG;
  • 根据前端主机的HBA WWPN,在SVC上建立Host;
  • 创建vdisk到host的映射,将imagemode vdisk重新分配回原主机。

主机安装SDDPCM

  • 对于AIX5.3的操作系统管理SVC,需要安装sddpcm软件,
  • 执行smit install进行安装,完成之后有pcmpath命令。

主机重新识别设备并恢复应用

  • 主机重新认盘cfgmgr,使用相应命令确认路径识别正确;
  • 重新激活卷组,挂载文件系统,重启数据库和应用,确认数据正确;
  • 重新恢复Cluster配置。

2.3.2 旧存储数据迁移到DS8800

在本阶段中,SVC将同时管理旧存储与新存储的卷以便进行数据迁移。为了减少迁移过程对旧存储的性能影响,计划使用vdisk mirror方式将旧存储各volume的数据同步到DS8800对应的volume上。这一过程支持在线迁移模式,不需要停止应用系统,并且对前端应用透明。具体实施步骤如下图:

部分实施步骤说明:

修改交换机Zone配置

在每个Fabric中建立一个新zone,包括该Fabric中所有的DS8800端口和SVC端口。

DS8800映射配置

在DS8800端建立SVC的host,并且用DSCLI将DS8800的volume映射给SVC。

SVC识别DS8800的LUN

在SVC上重新detect mdisk,并核对映射过来的DS8800 volume数量以及LUN ID。将新发现的mdisk改名,以减少误操作可能。

SVC增加 vdisk copy

该功能与AIX上的LVM mirror类似。在SVC上已有的每一个旧存储上的image mode vdisk,增加一个copy。

在增加vdisk copy的过程中,可以指定SVC的后台数据同步速率。需要根据用户应用的繁忙程度和期望同步时间进行调整。

每个vdisk的数据同步默认速度为2 MB/s。同步速度可以通过syncrate参数进行设定,最低为128 KB/s,最高可达64 MB/s 。本案中设为91,即最大值具体参数的设置可参考下表:

确认同步完成

使用SVC管理界面或lsvdisksyncprogress命令,确认所有的vdisk同步完成,各copy均为sync状态。此时DS8800中已拥有和旧存储完全相同的数据。

本阶段完成以后,数据会有两份拷贝。

2.3.3停止对旧存储的访问

每套系统在旧存储与DS8800上的数据同步完成后,可以删除旧存储上的那份数据拷贝。

SVC剥离旧存储 copy

使用splitvdiskcopy命令,使旧存储对应的copy从现有vdisk中剥离,成为新的vdisk。

SVC删除旧存储 vdisk

使用rmvdisk命令删除这些vdisk。

指定要删除的copy所属的Mdisk Group。

旧存储删除映射配置

在旧存储上删除volume到SVC端口的映射。

删除旧存储 zone配置

在每个Fabric中删除旧存储和SVC之间的Zone。

SVC确认删除

在SVC上重新检测mdisk。此时旧存储和DS8800的映射信息均已删除,SVC将检测不到这两台设备所提供的相应mdisk。此时SVC会报错,直接关闭相应的错误信息即可。

2.3.4重新映射新存储

经过以上操作,数据已经从原阵列迁移到DS8800上了。确认主机和新存储的光纤线连接,然后在交换机上划分DS8800和业务主机的ZONE,之后就可以在DS8800上直接将原来映射给SVC的LUN映射给原业务主机使用,在主机上识别存储后,通过相应脚本启动业务并进行测试。

停止应用,卸载卷组,删除磁盘

停止应用主要包括停止Cluster(如有配置),确认客户的应用软件,数据库等服务均已关闭,并卸载文件系统,去激活卷组,删除旧存储相关磁盘设备。

可能使用到的操作命令:umount,varyoffvg,rmdev –Rdl hdisk*;

在SVC上删除image模式的vdisk

在主机上断掉vdisk-to-host的mapping关系,然后删除主机组,删除image模式的vdisk,在managed mdisk下面看到从DS8800的mdisk变为umanaged模式,然后就需要在DS8800存储上删除对SVC的映射关系。

修改光纤交换机ZONING配置

在每个Fabric上主机与SVC,SVC和DS5300之间的ZONE对应关系,并建立一个新的ZONE,即主机和DS8800存储之间的ZONE。然后将DS8800数据LUN直接映射给主机。

在主机上重新识别阵列,启动应用程序

在主机上识别阵列,cfgmgr,检查hdisk,varyonvg,mount文件系统,启动应用。

结束

至此,数据迁移工作完成。

3 总结

在本文中,我们简单介绍了通过SVC实现了数据从旧存储迁移到新存储的过程,虽然两台设备都是来自同一厂商,但是SVC解决方案实现了存储空间的统一管理和虚拟化,使得其在异构存储设备之间的数据迁移也非常成熟。另外,在每一阶段的操作之前,备份相关信息是非常重要的环节。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

1

添加新评论0 条评论

Ctrl+Enter 发表

本文隶属于专栏

最佳实践
不同的领域,都有先行者,实践者,用他们的最佳实践来加速更多企业的建设项目落地。

作者其他文章

相关文章

相关问题

相关资料

X社区推广