大量非结构化数据迁移的问题?

现有保险影像系统中存储的非结构化数据至少是百万或千万个文件量级,想问下对于这种量级的文件,是否有稳妥的迁移方案,可以保证将所有数据完整迁移至对象存储,并且迁移后可以提供验证。

参与5

2同行回答

我这边做过的项目里,一般迁移方案分两种,第一种是由应用进行迁移,第二种是以迁移服务项目的方式进行迁移。基本的迁移思路是新数据写入到对象存储,老的存储只用于读取,这样整个迁移的数据集就是一个固定的数据集,这样便于并发进行迁移处理,在整个迁移过程中,迁移工具会保证数据能...显示全部

我这边做过的项目里,一般迁移方案分两种,第一种是由应用进行迁移,第二种是以迁移服务项目的方式进行迁移。基本的迁移思路是新数据写入到对象存储,老的存储只用于读取,这样整个迁移的数据集就是一个固定的数据集,这样便于并发进行迁移处理,在整个迁移过程中,迁移工具会保证数据能够完整把数据迁移到对象存储。我比较建议把数据迁移当成一个迁移服务项目来看,因为迁移过程还是有很多需要协调工作来做。数据的验证的话,迁移工具是会来做。但是在最终割接以前,还是要请应用部门也进行一次数据验证。

此外有的企业会在底层存储和上层应用之间添加一个很轻量的数据抽象层,来屏蔽底层不同存储技术的差异,对外封装成一个面向应用的统一访问接口。同时这个抽象层会提供数据在不同存储或者不同存储技术之间进行迁移的功能。这样不管是底层存储技术如何变迁,对上层应用基本是没有任何影响的。当然这种做法需要从整个应用架构角度去设计规划。

具体采用哪种方案还是要取决于每个企业自己内部的实际情况。

收起
硬件生产 · 2020-07-17
浏览969
采用数据湖的其中一个重要优势就是不再需要做数据迁移。而对于传统的解决方案,对于大量的非结构化数据迁移,是一个费时费力的工作。针对这种情况,我们提供了一些工具,帮助用户来做数据迁移,如基于快照和迁移、基于并行访问的迁移等等,需要根据具体的情况来选用。...显示全部

采用数据湖的其中一个重要优势就是不再需要做数据迁移。而对于传统的解决方案,对于大量的非结构化数据迁移,是一个费时费力的工作。针对这种情况,我们提供了一些工具,帮助用户来做数据迁移,如基于快照和迁移、基于并行访问的迁移等等,需要根据具体的情况来选用。

收起
硬件生产 · 2020-07-17
浏览953

提问者

phoenixlzy
技术经理nci
擅长领域: 灾备存储云计算

问题来自

相关问题

问题状态

  • 发布时间:2020-07-14
  • 关注会员:3 人
  • 问题浏览:1958
  • 最近回答:2020-07-17
  • X社区推广