如何提高非结构化数据迁移的效率?

非结构化数据迁移过程中,影像数据(如图片、PDF、影像件)等典型特征数据迁移速度极慢,迁移所需时间窗口非常长,在保证业务连续性的前提下,如何有效加速由传统存储向对象存储的迁移效率?

参与7

2同行回答

数据迁移的速度受限于源存储系统、迁移程序、网络和目标存储系统。一般情况下源存储系统会成为瓶颈,同时要保证业务能够继续对外提供服务,迁移不能对源存储系统造成压力,所以迁移的窗口都会非常长。常见的处理方法是通过修改应用访问存储逻辑,所有新增数据全部写入到目标对象...显示全部

数据迁移的速度受限于源存储系统、迁移程序、网络和目标存储系统。一般情况下源存储系统会成为瓶颈,同时要保证业务能够继续对外提供服务,迁移不能对源存储系统造成压力,所以迁移的窗口都会非常长。常见的处理方法是通过修改应用访问存储逻辑,所有新增数据全部写入到目标对象存储中,旧的源存储里的数据只用于读取,不会有任何的新增数据,同时通过应用或者迁移程序进行数据迁移。

除此之外,还有的做法是把源存储或者系统的数据通过备份或者复制的方式,拷贝到一套新的系统中,专门用于数据迁移,但是这种做法投入会很高,用的也比较少。

再者就是从应用架构上解决,在底层存储系统和前端应用之间添加一个轻量级的数据抽象层,这个抽象层可以对外提供统一的数据访问接口。这个抽象层也负责在不同的存储技术之间进行数据迁移,这样不管采用何种的存储技术,都可以灵活的进行处理。

具体采用何种方式更优,还是要取决于企业的实际情况,所以我比较建议把数据迁移当成是一个服务项目来处理。

收起
硬件生产 · 2020-07-17
浏览1004
我理解应当问的是提高迁移的效率。针对不同的数据迁移方式,有不同的效率提升方法。具体情况需要具体分析。我们会采用不同的加速方式,包括如元数据加速、数据跟踪、数据标注、多工作流并行等等手段来提升性能。...显示全部

我理解应当问的是提高迁移的效率。
针对不同的数据迁移方式,有不同的效率提升方法。具体情况需要具体分析。
我们会采用不同的加速方式,包括如元数据加速、数据跟踪、数据标注、多工作流并行等等手段来提升性能。

收起
硬件生产 · 2020-07-17
浏览1019

问题来自

相关问题

问题状态

  • 发布时间:2020-06-30
  • 关注会员:3 人
  • 问题浏览:1919
  • 最近回答:2020-07-17
  • X社区推广