现在有1.8PB的非结构化数据,都是在NAS上,现在想用对象存储,但是这个过程中有没有什么方法数据迁移过程中业务零中断?怎么保障迁移过去的数据和原来的是一样的?
看你是什么NAS了,现在新的NAS设备本身有些具备向对象存储迁移的功能。
如果没有,一般的做法是先做快照,然后复制快照1,快照1复制的过程(校验文件清单T1+复制文件T2)(1.8P根据文件数量不同,如果小文件不是很多,我估计要复制1个月能搞定)中业务会产生新的数据,但是量会远远少于1.8PB, 然后在做快照2,再复制,依次类推。因为T2时间会越来越少。最终停机时间是至少T1时间。
有一些简单复制工具有依据文件大小和时间戳进行校验文件清单,T1估计是500万个文件1小时。
还有用md5做文件校验的,那个速度就很慢了。
linux用rsync就可以。windows平台有robocopy。
收起