关于GPFS大量小文件迁移

在X86服务器上搭建的GPFS环境中,两个文件系统面临迁移,但该文件系统中的文件数量超过了1.5亿。
提问1、是否有GPFS自带的功能进行迁移?2、如果在线迁移的话,是否会影响性能?如果影响了,中途终端,能否断点续传?3、在线过程中产生新了文件该怎么把新文件迁过去?4、怎么能判断文件全部都迁移完成了?
谢谢

参与12

2同行回答

ZHOULEONZHOULEON产品总监IBM
有多种方式可以来解决上述问题。如希望利用软件自带功能,可以采用 Spectrum Scale (GPFS) 的分布式磁盘缓存技术AFM,为在新的文件系统上为原先的文件数据设置一个缓存,然后将用户访问路径切换到新的系统上。另外可以编写一些脚本来验证文件是否全部迁移完成。具体步骤可参考...显示全部

有多种方式可以来解决上述问题。如希望利用软件自带功能,可以采用 Spectrum Scale (GPFS) 的分布式磁盘缓存技术AFM,为在新的文件系统上为原先的文件数据设置一个缓存,然后将用户访问路径切换到新的系统上。另外可以编写一些脚本来验证文件是否全部迁移完成。
具体步骤可参考以下文档:
https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/General%20Parallel%20File%20System%20%28GPFS%29/page/Migrating%20Data%20Using%20AFM
如果是关键应用,建议进行迁移前联系IBM相关销售代表安排工程师来根据实际环境建议详细的实施计划。

收起
IT其它 · 2017-06-02
浏览4989
  • 谢谢,还想请问,您提到的用户访问路径的切换,是不是说原来用户访问/app1,新建的是/app2,需要应用的配置修改到/app2上?也就是说需要停一次应用?
    2017-06-02
  • 新建的也可以是/app1, 但需要切换下把应用挂载到新的文件系统上,应用的访问路径都不用修改。
    2017-06-02
zwz99999zwz99999系统工程师dcits
IBM的专家回答的很好,建议用gpfs自带的功能迁移,同时参考下面的一个文档方案一: 通过存储设备复制数据(PPRC,volume mirror,true copy等).在存储设备的层面上将数据复制两份步骤如下:1.在存储设备层面建立复制关系,等待数据同步.2.安排应用停机时间,在此时间内执行如下操作...显示全部
  • IBM的专家回答的很好,建议用gpfs自带的功能迁移,同时参考下面的一个文档
  • 方案一: 通过存储设备复制数据(PPRC,volume mirror,true copy等).在存储设备的层面上将数据复制两份
  • 步骤如下:
  • 1.在存储设备层面建立复制关系,等待数据同步.
  • 2.安排应用停机时间,在此时间内执行如下操作切换gpfs文件系统使用的存储设备.
  • a.停业务应用及gpfs文件系统.
  • mmshutdown -a

  • b.存储设备层面确定数据己同步,取消相关复制关系(或反转复制关系,即a->b转b->a)
  • c.将原来使用的disk从系统中删除.如:
  • rmdev -dl hdisk<*>

  • d.将新使用的disk加入至系统.如:
  • cfgmgr

  • e.在gpfs中更新nsd的信息与新使用disk匹配.
  • mmnsddiscover -a -N all

  • f.启动应用
  • mmstartup -a

  • 方案二:利用gpfs本身的数据迁移功能.
  • 1.在原gpfs文件系统中加入新的nsd,并将nsd加入相关fs中.
  • mmcrnsd

  • mmadddisk <fs#> <nsdname>

  • 2.从gpfs文件系统中删除原来的磁盘.gpfs自动进行相关的数据迁移工作
  • mmdeldisk <fs#> <nsdname>

  • mmdelnsd

  • 3.修改tiebreakerdisk参数.
  • mmchconfig tiebreakerdisk="<ndsname><nsdname>...."

  • 4.从系统中删除磁盘
  • rmdev -dl hdisk<#>

  • 方案三:利用gfps的replicas功能进行数据迁移(要求己有的gpfs文件系统的-M与-R的值为2,可用mmlsfs确认)
  • 1.确认原有的gpfs文件系统的磁盘属于同一Failure group组,如(FG1),将新的磁盘加入到gpfs中并属于另一failure group组,如(FG2)
  • mmcrnsd

  • mmadddisk <fs#> <nsdname>

  • 2.更改文件系统属性,并将数据通过replicas机制复制两份.
  • mmchfs <fs#> -m 2 -r 2

  • mmrestripefs <fs#> -R

  • 3.从gpfs文件系统中删除原来的磁盘
  • mmdeldisk <fs#> <nsdname>

  • mmdelnsd

  • 4.更改文件系统属性,并更新.
  • mmchfs <fs#> -m 1 -r 1

  • mmrestripefs <fs#> -R

  • 5.从系统中删除磁盘
  • rmdev -dl hdisk<#>

  • 方案比较:
  • 1.数据安全上:
  • 方案1>方案3>方案2
  • 2.对应用性能上的影响最小排序:
  • 方案1>方案2>方案3
  • 3.对应用使用连续性的影响最小排序为:
  • 方案3=方案2>方案1
  • 4.方案实施前提要求程度最小排序为:
  • 方案3=方案2>方案1
  • 综上所例,建议在有条件的情况下,尽量选择方案1,最大程度确保数据的完整.其次可选方案3,可在应用连续性及数据安全性上有一定的平衡,但会有一定的应用性能影响.
收起
系统集成 · 2017-06-02
浏览4241

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-06-02
  • 关注会员:5 人
  • 问题浏览:8175
  • 最近回答:2017-06-02
  • X社区推广