现有1.8PB非结构化数据,都在NAS上,如想用对象存储,用什么方法可在数据迁移过程中防止业务零中断?

现在有1.8PB的非结构化数据,都是在NAS上,现在想用对象存储,但是这个过程中有没有什么方法数据迁移过程中业务零中断?怎么保障迁移过去的数据和原来的是一样的?

参与17

4同行回答

TerrenceXTerrenceX存储架构师IBM
GPFS可以实现一边挂载老nas一边挂在cos,内部实现在线数据迁移;如果使用Filene 她可以通过Filenet 内建迁移显示全部

GPFS可以实现一边挂载老nas一边挂在cos,内部实现在线数据迁移;如果使用Filene 她可以通过Filenet 内建迁移

收起
IT其它 · 2018-02-02
浏览3074
david0405david0405架构师东方证券
看你是什么NAS了,现在新的NAS设备本身有些具备向对象存储迁移的功能。如果没有,一般的做法是先做快照,然后复制快照1,快照1复制的过程(校验文件清单T1+复制文件T2)(1.8P根据文件数量不同,如果小文件不是很多,我估计要复制1个月能搞定)中业务会产生新的数据,但是量会远远少于1.8PB, 然...显示全部

看你是什么NAS了,现在新的NAS设备本身有些具备向对象存储迁移的功能。

如果没有,一般的做法是先做快照,然后复制快照1,快照1复制的过程(校验文件清单T1+复制文件T2)(1.8P根据文件数量不同,如果小文件不是很多,我估计要复制1个月能搞定)中业务会产生新的数据,但是量会远远少于1.8PB, 然后在做快照2,再复制,依次类推。因为T2时间会越来越少。最终停机时间是至少T1时间。

有一些简单复制工具有依据文件大小和时间戳进行校验文件清单,T1估计是500万个文件1小时。
还有用md5做文件校验的,那个速度就很慢了。

linux用rsync就可以。windows平台有robocopy。

收起
证券 · 2018-02-02
浏览2956
qsg0720qsg0720CTO深圳市杉岩数据技术有限公司
[此回答已删除]
浏览1801
人文与IT人文与IT其它阿里云
[此回答已删除]
浏览2720

提问者

hellot
系统架构师保险
擅长领域: 数据库分布式系统服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-01-31
  • 关注会员:5 人
  • 问题浏览:6144
  • 最近回答:2019-10-22
  • X社区推广