目前已大量的非结构化数据存放与nas存储,想迁移至对象,如何能安全迁移至对象存储,以及如何去验证这个迁移的数据是否准确以及完整,以及如何在对象里面做目录分级。
面对NAS和第三方 对象存储 升级至杉岩MOS海量对象存储的场景,杉岩MOS可以做到免迁移纳管,充分利旧、平滑迁移。
除此之外,为解决海量数据接入难及数据孤岛问题, 杉岩数据最新推出数据汇聚管理系统DataIngestor,支持将本地文件 全量和持续增量上传至对象存储的桶中,并且支持根据自定义规则 自动在汇聚时为数据打上多种标签,以便业务检索管理。全过程省去了企业业务软件改造或开发数据管理工具成本,降低数据入湖门槛,提升业务故障处理效率,大幅降低运维工作量;也实现了更高效、安全、完整地完成存储架构升级、替换、迁移的目标。
我曾负责过某证券客户3亿文件从NAS迁移至对象和某消费金融客户50亿+FastDFS迁移至对象平台(平均文件200K左右),可采用第三方迁移工具或者对象存储厂商自带数据流动方案,避免对业务影响,可以设置迁移速度;校验方式采用MD5,
需要关注点:1:list耗时会比较长(如果两套存储均是同厂商会有内部api提高list效率);2:只能迁移数据,因为NAS和对象权限机制不通,迁移后 数据权限归属存储桶owner;3:对象没有NAS那种目录层级,都是扁平化层级;