金融行业NAS文件系统迁移停机时长难以准确预估和控制探讨?

NAS文件系统迁移包括存量数据在线迁移+增量数据停机迁移两大步,增量数据停机迁移的时长受元数据扫描和对比所消耗的时间影响,即使最后的增量数据变化很小,也可能由于基础元数据太大而消耗很大对比时间。希望同业专家可以就此难点进行经验以及解决探讨!...显示全部

NAS文件系统迁移包括存量数据在线迁移+增量数据停机迁移两大步,增量数据停机迁移的时长受元数据扫描和对比所消耗的时间影响,即使最后的增量数据变化很小,也可能由于基础元数据太大而消耗很大对比时间。希望同业专家可以就此难点进行经验以及解决探讨!

收起
参与33

查看其它 4 个回答袁宏松的回答

袁宏松袁宏松职员贵阳农商银行

     NAS存储的数据迁移,迁移时长主要取决于多个要素,包括存款性能,网络带宽,文件数据总量的大小,数据文件的数量多少等。如果采用同型号的存储来在备份迁移,我以为主要因素是数据总大小和文件总个数。
    对于数据总量较大的数据,应该在日常运维中建立起数据的同步机制,定期全量备份数据文件,如需灾备切换或是发送其他异常情况,只需再同步增量数据,同步时间将会大大缩短。以不久前自身的一次数据迁移为例,只迁移一个文件系统,该文件系统数据数量约1TB,文件数量约在800万个,首次全量同步时间约1小时,停机后增量同步约为20分钟,无论是前两或是增量时间都比较长。
    如果文件数据较多,应该定期按特定规则打包、压缩文件,一是减少数据文件,能释放存储的读文件能力,更重要的是能大大缩短文件的同步时间,还是以工作中的经营为例, 文件系统数据数量约800,文件数量约在600万个,首次全量同步时间约45小时,停机后增量同步约为15分钟。文件打包压缩后400GB,文件数量300万个,全量同步才25分钟,增量同步5分钟,时间大大缩短。

银行 · 2023-08-14
浏览582

回答者

袁宏松
职员贵阳农商银行

袁宏松 最近回答过的问题

回答状态

  • 发布时间:2023-08-14
  • 关注会员:6 人
  • 回答浏览:582
  • X社区推广