·2021-11-05 11:09

存储工程师·商业银行

商业银行关键业务系统存储数据迁移技术手册

字数 9824阅读 4682评论 11赞 19

**摘要：** 关键性业务系统是企业中最主要维护运行的重要业务项目。本文结合我行数据迁移的实践工作，针对商业银行的部分关键性业务系统存储的数据迁移过程进行跟踪记录，详细描述了利用AIX操作系统中的LVM镜像功能实现不同存储系统之间的数据迁移，分析存储替换迁移过程中的困难点，同时提供了常见的问题解答，希望对同行有所参考。

# 第1章 **背景概述**

本文档主要是以我行自身的关键业务数据迁移为场景，详细描述本次迁移关键性业务系统的迁移过程。此次迁移的场景主要是基于存储资源池下的数据存储迁移到未被池化的集中存储上（存储池化的设备为IBM存储网关，迁移的目标存储为华为OceanStor 18510  V5高端存储），迁移的关键业务系统主要运行在小型机平台上，因此迁移工作主要以小型机的AIX操作系统下进行操作执行，并将整个迁移过程做了相应的记录和规划。

**1.1 现状分析**

我行以IBM存储网关下管控的存储如 华为OceanStor18000系列高端存储早期版本 、DS8870、VSP等构建存储系统，因以上存储的运行时间较长，已经无法满足当前业务系统需求和未来快速增长的要求；计划进行替换或下线处理，需将其上承载的关键业务系统的数据迁移到更适合业务发展需要的去除存储网关的华为OceanStor 18510  V5（下文简称为目标存储）上来，以解决老旧设备老化问题，进而保证数据的安全性、连续性、稳定性。

**1.2 建设目标和要求**

本次数据迁移遵循一定的标准和原则，有目的性的选择有效的方案和工具进行数据迁移，从而减少重复性和盲目性，保障本次的数据迁移工作顺利完成。

本次数据迁移主要利用AIX操作系统中的LVM镜像功能实现不同存储系统之间的数据迁移， AIX的LVM镜像功能进行数据迁移的存储配置操作以及数据迁移相关的步骤，不包括上层的主机、集群、数据库等业务系统相关的配置操作过程和步骤。必须同时满足以下几点，才能使用AIX的LVM镜像功能进行数据迁移。

（1） 业务场景：业务应用的磁盘空间是AIX LVM提供的LV（逻辑卷），这些LV（逻辑卷）建立在源存储提供的PV（物理卷）上。
 （2） 集群应用：AIX单机、AIX主备双机（LVM + Hacmp）、AIX并发双机（LVM + Hacmp）、X86服务器主机、刀箱等。
 （3） 存储型号：本次关键业务系统数据迁移关联的存储设备有华为、IBM、日立存储等，本文中涉及到迁移的存储型号包括 华为OceanStor 18000系列高端存储早期版本 、 DS8870、VSP（源存储）和华为OceanStor 18510  V5（目标存储）。
 （4） 组网方式：DAS连接SAN连接（AIX服务器通过SAN交换机连接存储）。
 （5） 迁移方式：因本次迁移的数据存储所承载的业务系统的重要性，大部分需要进行在线迁移，部分业务系统可以支持离线数据迁移。

**1.3 架构要求与选型：**

当前银行业普遍的容灾方案架构是采用传统的存储网关同城双活容灾架构方案，随着技术快速发展和CPU等性能指标不断迭代更新，传统的存储网关技术架构已逐步不能够满足未来互联网业务发展需求，尤其目前推出的高端全闪存储产品的情况下，存储网关现已无法充分发挥全闪阵列的高可性、高性能、低时延的功能。为了适应未来业务发展的需要，考虑现阶段采用高端全闪存阵列双活已成为后续发展的主流技术。该架构不仅满足了监管对容灾建设的要求，而且能够满足后续互联网高速发展所需高可靠性、高性能、低时延的稳定的双活容灾架构要求。 经过多轮调研，我行最终选择去除存储网关的华为OceanStor 18 000 系列高端存储，计划以华为OceanStor 18510  V5的高系统安全性、弹性高效、智能运维等特点来实现对于关键业务运行效率的提升。

**1.4 数据迁移工作原理。**

数据迁移又称分级存储管理是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中常用的数据按指定的策略自动迁移到另一台存储设备上，来保障数据的安全性和可靠性。可以让数据能够够好的对外提供服务。对于用户来说，上述数据迁移操作完全是透明的，并且在访问磁盘的速度上略有提升，而在逻辑磁盘的容量上没有多大变化。通俗地讲，数据迁移是一种把数据从一种介质上迁移到另一个介质上，让其安全、可靠的提供服务。

**1.5准备工作要点**

迁移前的准备工作有以下几点：
 1、确保新目标存储资源设备已部署到位，并在运行过程中心未发现任何异常。
 2、保证新存储设备容量大小可以满足数据迁移的数据量需求
 3、保证迁移过程中源数据存储及相关存储网络及链路的运行状态正常，若有发现异常情况，需要先进行将异常或故障处理好后再进行迁移的计划进行执行。

# 第2章 **数据迁移流程**

数据迁移流程使用AIX的LVM进行数据迁移总体流程如下图所示
![](/home/attachment/202111/05/1222003_163608123246804.png)

整个流程包含以下步骤：步骤一：迁移前的准备工作。包含的内容为，新存储环境需安装调试就绪，数据迁移前需是可用、完整，最迁移的数据进行迁移前备份。步骤二：实施迁移工作。步骤三：通过数据对比和业务测试来验证迁移的数据的完整性、可靠性。
 
# 第3章 **数据迁移前准备**

## 3.1 **迁移环境准备**

### 3.1.1 查询系统信息

主要包括以下以下信息：

![](/home/attachment/202111/05/1222003_163608101456776.png)

### 3.1.2 获取所需的软件和工具

包括并不限于以下软件和工具：
![](/home/attachment/202111/05/1222003_163608128016066.png)

其他工具包括：
 串口线（RJ45串口）、网线、防静电手套、标签纸、笔记本电脑（确认可连接RJ45串口）。

### 3.1.3 检查系统及设备运行状态

包括以下设备及业务系统的运行状态：
![](/home/attachment/202111/05/1222003_163608132525286.png)

**注意** ：
 1.在业务系统迁移前首先要保证业务系统的软件、硬件不能存在故障，若出现了故障请及时进行完成故障处理，确保整个迁移过程中系统和设备均正常。
 2.启动数据迁移前务必进行主机/业务重启以及集群切换等动作，确保业务系统没有潜在的风险

## 3.2 **配置目标存储**

完全按照源存储（ 华为OceanStor 18000早期版本 、DS8870、VSP）的RAID组、LUN、主机组、主机和映射关系等配置，完成目标存储（华为OceanStor 18510  V5）的安装部署。

### 3.2.1 配置硬盘域

硬盘域的硬盘类型决定了存储池可以创建的存储层级，为了构建存储池需要首先创建硬盘域，在硬盘域中需要指定构成硬盘域的硬盘类型和数量。存储初始化过程建议加业务系统的实际场景对存储的划分和配置相对应。建议使用不同硬盘域分别创建用于块存储业务或文件存储业务的存储池。为防止硬盘域成员盘失效造成数据丢失或性能降低，存储系统支持热备空间，用于承载失效成员盘中的数据。存储系统支持如下热备策略：存储层硬盘数小于等于12块时使用一块硬盘的容量作为热备空间。随着硬盘数量的增加，热备空间的容量呈非线性增加。当硬盘数量增加到175块以后，存储层每100块硬盘使用一块硬盘的容量作为热备空间。

### 3.2.2 创建RAID组及划分LUN

RAID组配置：与 原华为OceanStor 18000系列早期版本、 DS8870、VSP的RAID组顺序、RAID组名称、RAID级别和RAID组成员盘数目等RAID组配置信息保持完全一致。
 LUN配置：与 原华为OceanStor 18000系列高端存储早期版本、DS8870、VSP的LUN归属RAID组、LUN名称、LUN容量和LUN数目等配置信息保持一致。
 映射关系：与华为 OceanStor 18510 V5 （目标存储） 、DS8870、VSP的主机组、主机和启动器信息保证完全一致。

**注意：**
 1.当目标存储新创建的LUN的运行状态是“正在格式化”时，可以进行配置操作，但不能进行数据迁移。
 2.全部LUN的运行状态从“正在格式化”变成“在线”后，表示可正常读写数据，才能再进行数据迁移操作。
 3启动数据迁移前， 必须确认目标存储工作状态正常，无任何告警，否则不能进行数据迁移操作。

## 3.3 **数据备份**

迁移前需要对迁移的业务系统进行相关备份，以确保即使迁移失败后数据仍具备完整性，现针对以上情况需要备份的内容包括以下数据：
![](/home/attachment/202111/05/1222003_163608139693146.png)

# 第4章 **数据迁移方案**

## 4.1 **具体迁移流程**

针对数据迁移过程，目前有三种场景，迁移的过程和步骤也会有所不同，现针对以下三种场景的迁移过程分解如下：本次主要的关键业务系统部署在power小型机上，现针对AIX操作系统的步骤如下。

1 . 业务系统承载在单机迁移步骤如下：
![](/home/attachment/202111/05/1222003_163608140989171.png)

2. 业务系统承载在主备集群的迁移步骤：
![](/home/attachment/202111/05/1222003_163608141955937.png)

3. 业务系统承载在并发集群的迁移步骤：
![](/home/attachment/202111/05/1222003_163608142871845.png)

**说明：**
 本文档中重点描述了数据迁移过程与存储相关的操作基础步骤，实际流程过程中心需要针对发生不同的情况进行调整、更改、补充业务系统相关的操作步骤。

## 4.2 **添加目标存储映射**

1、目标存储的多路径软件和源存储多路径软件兼容，可以共存与同一台AIX主机上并对2台存储映射的LUN互不影响。
 2、目标存储的多路径软件安装在AIX系统上不需要重启主机就可以生效；如果同时满足以上2个条件，可以按照下面步骤操作：步骤一：按照标准组网将目标存储通过DAS或SAN方式连接到AIX主机上；步骤二：在AIX主机上安装目标存储多路径软件；如果不能同时满足以上2个条件，比如本文中的 目标存储多 路径安装需要重启主机生效，则按照下面章节的内容进行操作。
 3、按照标准组网将目标存储通过SAN方式连接，并进行与目标主机连接，创建相应的主机和逻辑卷。
 4、在目标操作主机操作系统上安装目标存储多路径软件，通过重启进行多路径软件生效，并查看链路情况正常后进行下一步操作。

### 4.2.1 主机识别存储

更改 设备物理连接在将 目标存储接入 映射前在AIX主机上扫描磁盘可以看到

在将目标存储（ 华为OceanStor 18510  V5）接入映射前在AIX主机上扫描磁盘可以看到

# **lspv**
_hdisk0 000507829621c7f8 rootvg active_
_hdisk1 000507824e40e0d3 rootvg active_
_hdisk2 00050782bcc10788 datavg active_
_hdisk3 00050782bcc10925 datavg active_
_hdisk4 00050782bcc10abb datavg active_

hdisk2-hdisk4是源存储所映射的逻辑卷（LUN），并且在业务应用的datavg中将 目标存储的 四路控制器上的FC端口和业务主机HBA卡光纤接口通过SAN交换机连接到AIX主机对应端口，如下图：
![](/home/attachment/202111/05/1222003_163608167787938.png)

映射目标存储LUN给主机完成物理组网后，在 目标存储 使用的ISM管理软件添加对应的主机的FC HBA信息，并将格式化完成的LUN映射给主机。如果是双击或者集群环境，将新创建的逻辑卷（LUN）分别映射给双机或集群组。

### 4.2.2 在服务器上配置虚拟磁盘

1、步骤一：系统扫描新硬件 **# cfgmgr** 使用cfgmgr命令可以扫描主机端的硬件变更，扫描后使用lspv查看
 
 2、步骤二：发现磁盘
 # **lspv**
 _ hdisk0 000507829621c7f8 rootvg active _ 
 _ hdisk1 000507824e40e0d3 rootvg active _ 
 _ hdisk2 00050782bcc10788 datavg active _ 
 _ hdisk3 00050782bcc10925 datavg active _ 
 _ hdisk4 00050782bcc10abb datavg active _ 
 _ hdisk5 none None _ 
 _ hdisk6 none None _ 
 _ hdisk7 none None _ 
 输出的hdisk5~hdisk7是目标存储（S3900）新映射到主机上的LUN

3、步骤三：将 目标存储所创 建的逻辑卷映射到主机的LUN（pv）中，并加入到原业务vg中，并确认所有新pv的状态。
 # **/usr/sbin/extendvg -f datavg hdisk5 hdisk6 hdisk7**
 # **lspv**
_hdisk0 000507829621c7f8 rootvg active_
_hdisk1 000507824e40e0d3 rootvg active_
_hdisk2 00050782bcc10788 datavg active_
_hdisk3 00050782bcc10925 datavg active_
_hdisk4 00050782bcc10abb datavg active_
_hdisk5 00050782d59629c3 datavg active_
_hdisk6 00050782d5962ae8 datavg active_
_hdisk7 00050782d5962c4f datavg active_

## 4.3 **迁移数据**

1、步骤一：以root用户登录主机

2、步骤二：使用mirrorvg命令对vg进行镜像同步，完成pv数据迁移：
  **# mirrorvg –S –m –c 2 datavg hdisk5 hdisk6 hdisk7**

3、步骤三：查看迁移进度
**# lsvg -l datavg**
_datavg:_
_LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINT_
_Lv1 jfs2 36 72 2 open/syncd /_
_Lv2 jfs2 36 72 2 open/syncd /usr_
_Lv3 jfs2 36 72 2 open/syncd /var_
_Lv4 jfs2 36 72 2 open/syncd /tmp_
_Lv5 jfs2 36 72 2 open/syncd /home_
_Lv6 jfs2 36 72 2 open/stale /opt_
_Lv7 jfs2 36 72 2 open/stale /appsjcf_
 上面输出结果中“LV STATE”列代表vg（卷组）中lv（逻辑卷）的镜像状态，“open/syncd”表示已经镜像同步完成，“open/stale”表示镜像同步进行中，当所有lv的状态变为“open/syncd”时表示数据镜像同步完成

4、步骤四：验证数据一致性由客户在业务侧验证数据一致性，确定数据迁移成功

## 4.4 **迁移完成后移除源存储**

1、步骤一：镜像关系拆除（在迁移主机上进行操作）所有需要迁移的vg的所有lv完成数据镜像后，这时候进行解开镜像关系，让AIX系统只使用目标存储（ 华为OceanStor 18510  V5）。命令如下：
  **# unmirrorvg datavg hdisk2 hdisk3 hdisk4**
  以上命令执行完毕后，执行下面的命令，若结果都为空则说明lv都已迁移到华为OceanStor 18510V5磁盘上。
**# lspv –l hdisk2**
**# lspv –l hdisk3**
**# lspv –l hdisk4**

步骤二：在主机操作把源存储 （ 华为OceanStor 18000系列存储早期版本 、DS8870、VSP）的盘从vg中删除
**# reducevg datavg hdisk2 hdisk3 hdisk4**

步骤三：查看此时pv状态。
**# lspv**
_hdisk0 000507829621c7f8 rootvg active_
_hdisk1 000507824e40e0d3 rootvg active_
_hdisk2 none None_
_hdisk3 none None_
_hdisk4 none None_
_hdisk5 00050782bcc10788 datavg active_
_hdisk6 00050782bcc10925 datavg active_
_hdisk7 00050782bcc10abb datavg active_
 源存储 （ 华为OceanStor 18000早期版本 、DS8870、VSP） 的磁盘不归属任何一个vg属于正常。

步骤四：在主机上删除源存储（ 华为OceanStor 18000早期版本 、DS 8870、 VSP）映射的LUN磁盘卷。
**# rmdev –dl hdisk2# rmdev –dl hdisk2# rmdev –dl hdisk2**

步骤五：在IBM的存储网关上（SVC）回收源存储的逻辑卷，并回收相应的其它资源信息。

## 4.5 **同步备机**

1、步骤一：停止备机hacmp服务。
 
 2、步骤二：在主机上获取vg的major号。
**# ls –l /dev/datavg**_Crw-rw---- 1 root system 49,0 Jul 17 14:51 datavg_

3、步骤三：在备机同步vg信息。
**# cfgmgr# varyoffvg datavg# exportvg datavg# importvg –V 49 –y datavg hdisk***

步骤四：在备机上扫描识别目标存储（华为OceanStor 18510  V5）映射的LUN并导入vg信息，设置vg属性为不启动激活。
**# chvg –an datavg**

5、步骤五：在备机同步资源和配置执行如下命令： **# smit hacmp** 使用方向键和回车键，依次选择以下各项： **Extended Configuration---- >Extended Verification and Synchronization** 保持弹出的菜单中各项默认值不变，直接按“Enter”键执行同步，注意同步过程中是否出现错误。若出现错误，则依据错误提示检查配置步骤，进 行修正。若成功，则结果显示为“OK”。

6、步骤六：在备机上删除源存储（ 华为OceanStor 18000早期版本 、 DS8870、VSP）映射的LUN卷。
**# rmdev –dl hdisk2# rmdev –dl hdisk2# rmdev –dl hdisk2**

## 4.6 **迁移过程**

首先针对迁移业务系统主机进行添加目标存储多路径；其次进行停止和关闭业务和集群服务；然后进行删除源存储 （ 华为OceanStor 18000早期版本 、DS8870、VSP）多路径软件；接着针对源存储 （ 华为OceanStor 18000早期版本 、D S8870、VSP）物理设备逻辑卷进行移除并建立目标存储（ 华为OceanStor Dorado 18510V5）与AIX服务 器的双链路物理连接按照下图连接目标存储、光纤交换机与AIX服务器，组成多路径组网
![](/home/attachment/202111/05/1222003_163608170962165.png)

步骤五：在主备机分别安装目标存储（华为OceanStor 18510V5）多路径软件

## 4.7 **迁移后业务系统验证**

针对迁移的业务系统数据是否已经完全搬迁到了目标存储上进行相关验证，首先针对数据量进行比对，比对一致后进行启动数据库及相关的应用系统服务后进行相关业务验证工作，经过测试人员的业务测试反馈业务交易运行正常，通过验证业务交易正常、并查询数据正常，则说明此次的业务系统迁移成功。

## 4.8 **迁移后业务运行状况**

经过一段时间的观察和性能的一些检测，业务运行的效率有所改善，从数据库的检测得到读写的IO延迟都有所减少。业务的交易耗时也相应得到改善。迁移后更好地满足了业务的运行需求。  若在迁移过程中发现异常和数据不一致，将进行如下场景回退

## 4.9 **回退过程**

1、回退场景环境搭建
 数据备份与恢复应对措施：
 （1）通过业务自身的工具进行事前数据备份。
 （2）卷镜像迁移过程中源存储（华为OceanStor 18000早期版本、DS8870、VSP）的LUN数据不被破坏，可用于数据回退。

2、业务切换至新环境的时间：
 凌晨0:00至5:00为环境搭建以及业务切换至新环境的时间。
 在5:00前，发生如下情况未能解决则需要执行回退操作：
 （1）相关设备发生短时间无法处理的硬件故障；
 （2）系统无法正确识别分配的存储空间；
 （3）业务经过重新配置后无法正常运行，而且没有相关解决方案；
 （4）现场工程师没有在指定时间段内完成割接。

3、回退步骤：
 （1）在数据镜像拆除前出现问题回退步骤如下：
- 组网回退到源存储（华为OceanStor 18000早期版本、DS8870、VSP）退网前的状态
- 由于源数据并未丢失，只需在源存储上拉起业务即可

（2）数据镜像拆除后出现问题回退步骤如下：
组网回退到源存储（华为OceanStor 18000早期版本、DS8870、VSP）退网前的状态
- 使用备份数据进行恢复

# 第5章 **总结**

数据迁移是IT科技经常操作的内容。无论在任何数据迁移的过程中首要保障的必须是数据的安全性、完整性、可靠性。迁移过程要严格按照规划进行执行，保障整个数据迁移工作顺利完成。 最终将数据迁移至华为 OceanStor 18510V5 后，既解决了原有系统组网复杂，故障率高的问题，又以新技术、新方案、新产品的角度，提高了核心业务系统，特别是核心数据库的响应速度。在很大程度上满足了我行未来几年的信息化发展。数据迁移之后，业务的交易耗时得到改善，更好地满足了业务的运行需求。

本文结合我行数据迁移的实践工 作，分析存储替换迁移过程中的困难点，利用AIX操作系统中的LVM镜像功能实现不同存储系统之间的数据迁移，希望对同行有所参考。

OceanStor 数据迁移商业银行存储

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论11 条评论

匿名用户
2022-11-12 13:15

感谢作者的分享

匿名用户
2022-04-03 09:22

感谢分享

匿名用户
2022-04-03 09:22

感谢分享

iuff

存储工程师CHIT
2022-04-02 17:48

感谢分享！

kevin_shi系统架构师城商行
2021-12-22 16:30

感谢分享！

落叶归根信息技术经理123
2021-12-14 23:30

【文章价值点】 1.作者结合数据迁移的实践工作，对部分关键性业务系统存储的数据迁移过程进行跟踪记录。 2.对过程中的痛点，提供了解答。 3.迁移方案十分详尽。【个人看法】作者写的技术手册十分详尽，极具参考价值。整体迁移规划，思考的很全面，同时针对迁移过程中进行注意事项和说明。

michael1983

技术总监某证券
2021-11-30 11:24

不同品牌跨存储迁移，再加上双机软件的干扰，是一件非常复杂和麻烦，且风险较高的变更，但在银行有较为常见。利用AIX操作系统本身自带的mirrorvg来实现迁移，是比较保守的方法，我之前也实施过类似场景，就直接在数据库层面进行备份恢复，重新配置HA，避开易购存储的影响，风险相对更小。当然，如果应用和数据库层面不好协调，在底层做也未尝不可，可以考虑一些第三方的工具，如openmigrator等，这里面多路径软件的兼容性要尤其注意。最后，还是要感谢作者的无私分享！

jiangjd系统工程师厦门翰林汇力信息技术有限公司
2021-11-29 17:11

感谢分享！

匿名用户
2021-11-27 23:55

本文思路清晰、流程明确，技术细节丰富，有工具、操作脚本、应急回退方案，非常好的一篇数据切换方案。提到目标存储映射，能把SAN网络方面的操作配置添加至文章中，则所有操作都记录在册；操作步骤清晰明了，利用mirrirvg命令进行数据的镜像同步，查看jfs2文件系统迁移进度，非常好的文章，感谢作者分享。

sharkjam运维人员深圳市某公司
2021-11-15 17:03

感谢分享，作为运维人员，浏览文章后觉得内容很详尽，格式清晰，业务背景，迁移目标，流程，工具，备份，操作，回退方案，收藏起来以后当操作配置范文，金融行业的设备确实高大上的多，普通的业务还接触不到这么高级的存储设备

匿名用户
2021-11-15 16:05

感谢作者的分享。本文开头对数据迁移原理做了介绍，后以aix系统的LVM镜像功能，将新旧存储之间数据迁移的方案步骤做了详尽介绍，并有实战论证，值得参考和学习。

Ctrl+Enter 发表

匿名评论

商业银行关键业务系统存储数据迁移技术手册

添加新评论11 条评论

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料

商业银行关键业务系统 存储数据迁移技术手册

添加新评论11 条评论

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料

商业银行关键业务系统存储数据迁移技术手册