关于GPFS大量小文件迁移

在X86服务器上搭建的GPFS环境中,两个文件系统面临迁移,但该文件系统中的文件数量超过了1.5亿。提问1、是否有GPFS自带的功能进行迁移?2、如果在线迁移的话,是否会影响性能?如果影响了,中途终端,能否断点续传?3、在线过程中产生新了文件该怎么把新文件迁过去?4、怎么能判断文件全部...显示全部

在X86服务器上搭建的GPFS环境中,两个文件系统面临迁移,但该文件系统中的文件数量超过了1.5亿。
提问1、是否有GPFS自带的功能进行迁移?2、如果在线迁移的话,是否会影响性能?如果影响了,中途终端,能否断点续传?3、在线过程中产生新了文件该怎么把新文件迁过去?4、怎么能判断文件全部都迁移完成了?
谢谢

收起
参与12

查看其它 1 个回答ZHOULEON的回答

ZHOULEONZHOULEON产品总监IBM

有多种方式可以来解决上述问题。如希望利用软件自带功能,可以采用 Spectrum Scale (GPFS) 的分布式磁盘缓存技术AFM,为在新的文件系统上为原先的文件数据设置一个缓存,然后将用户访问路径切换到新的系统上。另外可以编写一些脚本来验证文件是否全部迁移完成。
具体步骤可参考以下文档:
https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/General%20Parallel%20File%20System%20%28GPFS%29/page/Migrating%20Data%20Using%20AFM
如果是关键应用,建议进行迁移前联系IBM相关销售代表安排工程师来根据实际环境建议详细的实施计划。

IT其它 · 2017-06-02
浏览4967
  • 谢谢,还想请问,您提到的用户访问路径的切换,是不是说原来用户访问/app1,新建的是/app2,需要应用的配置修改到/app2上?也就是说需要停一次应用?
    2017-06-02
  • 新建的也可以是/app1, 但需要切换下把应用挂载到新的文件系统上,应用的访问路径都不用修改。
    2017-06-02

回答者

ZHOULEON
产品总监IBM
擅长领域: 存储服务器人工智能

ZHOULEON 最近回答过的问题

回答状态

  • 发布时间:2017-06-02
  • 关注会员:5 人
  • 回答浏览:4967
  • X社区推广