190T应用数据从SAN存储迁移到华为5600v5s的NAS存储的方法有什么?迁移的风险和注意事项有哪些?

有190T的应用数据在华为N9000的SAN存储上,现在准备迁到华为5600v5的NAS存储设备上,现在测试了RSYNC同步数据,但是NFS小文件特别多传输很慢,190T的文件要传半年左右。

有什么迁移的方式方法可以提高速度,有什么风险点或者问题,请指教。

参与30

7同行回答

迁移 rsync 慢,一是可能因为源存储性能本身比较差,而是并发不够。 如果要提升性能,可以用华为的迁移服务工具 MD ,能够比较明显的提升 rsync 并发,但如果性能瓶颈在源存储本身或者中间网络带宽,换工具未必有很大帮助。...显示全部

迁移 rsync 慢,一是可能因为源存储性能本身比较差,而是并发不够。
如果要提升性能,可以用华为的迁移服务工具 MD ,能够比较明显的提升 rsync 并发,但如果性能瓶颈在源存储本身或者中间网络带宽,换工具未必有很大帮助。

收起
IT咨询服务 · 2023-03-31
浏览1255
匿名用户匿名用户
条件允许采用万兆,或者聚合进行连接,时间会很长!提前规划好操作内容1显示全部

条件允许采用万兆,或者聚合进行连接,
时间会很长!提前规划好操作内容1

收起
系统集成 · 2023-05-31
浏览802
zzy3620zzy3620课题专家组系统环境管理某城商行
采用多个客户端服务器挂载,分成多个子目录多线程同时并发同步提高效率显示全部

采用多个客户端服务器挂载,分成多个子目录多线程同时并发同步提高效率

收起
银行 · 2023-03-31
浏览1221
zwz99999zwz99999系统工程师dcits
采用万兆网络,利用华为的 MigrationDirector for NAS 工具进行迁移,这个需要购买lic;迁移前要评估兼容性;中断时间;数据安全性等等,详细可以去看下华为的 MigrationDirector for NAS工具指导书显示全部

采用万兆网络,利用华为的 MigrationDirector for NAS 工具进行迁移,这个需要购买lic;
迁移前要评估兼容性;中断时间;数据安全性等等,详细可以去看下华为的 MigrationDirector for NAS工具指导书

收起
系统集成 · 2023-03-31
浏览1359
susu121 邀答
mxinmxin资深工程师上海宝信软件股份有限公司
既然源头和目标存储都是华为的,当然可以让华为来全权处理这件事。以往的经验是源头存储,san网络,ip网络,目标存储四个主要项,逐一观察是否达到瓶颈,逐一解决,对于小文件多的,建议增加并发数量,将大文件目录,拆分为8个以上多个小目录,并发处理,有时可提升10倍以上。...显示全部

既然源头和目标存储都是华为的,当然可以让华为来全权处理这件事。
以往的经验是源头存储,san网络,ip网络,目标存储四个主要项,逐一观察是否达到瓶颈,逐一解决,对于小文件多的,建议增加并发数量,将大文件目录,拆分为8个以上多个小目录,并发处理,有时可提升10倍以上。

收起
IT咨询服务 · 2023-08-16
浏览579
qiuhaoshuqiuhaoshu技术经理恒展数通
这么大的数据量迁移确实很麻烦。主要考虑以下几点:1.SAN存储上的数据存放在几个LUN中,分布在多少服务器上;同时5600的主机接口是10Gb2.如果存储性能可以考虑对现在数据目录做拆分,多设备,多进程同步数据,并且可以优化参数3.使用专业的迁移软件,迁移软件一般都是多线程或是使用客...显示全部

这么大的数据量迁移确实很麻烦。主要考虑以下几点:
1.SAN存储上的数据存放在几个LUN中,分布在多少服务器上;同时5600的主机接口是10Gb
2.如果存储性能可以考虑对现在数据目录做拆分,多设备,多进程同步数据,并且可以优化参数
3.使用专业的迁移软件,迁移软件一般都是多线程或是使用客户端内存打包统一发送的。这样对小文件拷贝性能有很大的优化。

收起
系统集成 · 2023-04-20
浏览956
cucucucu联盟成员系统工程师黑龙江省电力有限公司
数据量确实大,建议优化网络,最好采用直连万兆光纤网络,性能会有一定提升。对于小文件复制最有效的方式是卷级复制,但显然不适合NAS存储,有那种付费软件专门用于数据迁移,也可加快传输速度。...显示全部

数据量确实大,建议优化网络,最好采用直连万兆光纤网络,性能会有一定提升。对于小文件复制最有效的方式是卷级复制,但显然不适合NAS存储,有那种付费软件专门用于数据迁移,也可加快传输速度。

收起
互联网服务 · 2023-03-30
浏览1299

ChatGPT 回答

针对这个问题,我可以提供以下解决思路和方案建议:

  1. 使用分块传输方式:将大文件分成多个小块进行传输,可以提高传输速度。可以考虑使用分块传输工具,如Aspera、FileCatalyst等。
  2. 使用压缩传输方式:将文件进行压缩,可以减小文件大小,提高传输速度。可以考虑使用压缩传输工具,如WinRAR、7-Zip等。
  3. 使用并行传输方式:同时使用多个传输通道进行传输,可以提高传输速度。可以考虑使用多线程传输工具,如Axel、Aria2等。
  4. 针对NFS小文件传输慢的问题,可以考虑使用其他传输协议,如FTP、SFTP等。
  5. 在迁移过程中,需要注意数据的完整性和安全性,可以使用数据校验工具,如md5sum、sha1sum等,确保数据传输过程中不会出现错误或丢失。
  6. 在迁移过程中,需要注意数据的备份和恢复,以防数据丢失或损坏。
  7. 在迁移过程中,需要注意存储设备的兼容性和稳定性,以确保数据能够正常迁移和存储。
  8. 在迁移过程中,需要注意网络带宽和传输速度的限制,以避免影响其他业务的正常运行。

总之,针对这个问题,可以采用多种方式和工具来提高传输速度,同时需要注意数据的完整性和安全性,以及存储设备的兼容性和稳定性。

提问者

susu121
运维工程师中国农业银行
擅长领域: 存储灾备存储迁移

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-03-30
  • 关注会员:8 人
  • 问题浏览:4112
  • 最近回答:2023-08-16
  • X社区推广