目前已大量的非结构化数据存放与nas存储,想迁移至对象,如何能安全迁移至对象存储,以及如何去验证这个迁移的数据是否准确以及完整,以及如何在对象里面做目录分级。
收起我曾负责过某证券客户3亿文件从NAS迁移至对象和某消费金融客户50亿+FastDFS迁移至对象平台(平均文件200K左右),可采用第三方迁移工具或者对象存储厂商自带数据流动方案,避免对业务影响,可以设置迁移速度;校验方式采用MD5,
需要关注点:1:list耗时会比较长(如果两套存储均是同厂商会有内部api提高list效率);2:只能迁移数据,因为NAS和对象权限机制不通,迁移后 数据权限归属存储桶owner;3:对象没有NAS那种目录层级,都是扁平化层级;