关于非结构话数据 存量数据如何从传统存储迁移都非结构化存储的过程,希望能否有经验可分享下?

目前传统存储上存放海量影像数据,如果在规定变更时间内将存量数据从传统存储迁移至非结构化存储,希望能否有经验可分享下

参与6

2同行回答

这个主要还是要看源端存储和目标端存储采用的具体技术来进行选择。如果采用最通用的方案,一般有两种,第一种就是直接通过应用进行数据迁移,第二种就是通过外部的数据迁移工具来进行迁移。一般情况下,在文件数量巨大的情况下,在规定的变更窗口内是很难完成的,因为很多情况下,源存...显示全部

这个主要还是要看源端存储和目标端存储采用的具体技术来进行选择。如果采用最通用的方案,一般有两种,第一种就是直接通过应用进行数据迁移,第二种就是通过外部的数据迁移工具来进行迁移。一般情况下,在文件数量巨大的情况下,在规定的变更窗口内是很难完成的,因为很多情况下,源存储或者说源系统没办法支撑大量数据的同时读取。所以思路会转变成,如何在不影响生产的情况下进行数据迁移,在这种思路下,一般情况是在迁移的过程中,应用会同时接入源端存储和目标端存储,同时将所有新增数据写入到目标端存储,这样源端存储不会有任何新增数据。接下来有两种处理方式,一种就是通过数据备份或者存储拷贝将数据在其他系统上拉起,作为迁移的源端,来尽快进行数据迁移,这样不会对现有系统造成影响,但是这样也有劣势,就是成本比较高。还有一种常见的做法就是在把现有系统作为源端,通过迁移工具进行迁移。总体而言由于应用在整个迁移过程中能够正常访问所有数据,所以迁移时间的长短,对业务是没有影响的,只是在迁移完成后,进行割接的时候申请变更窗口就可以了。
还有一种解决办法就是,在存储和应用之间引入一个数据抽象层,这个抽象层会对外提供一个统一的数据访问接口,来屏蔽底层存储技术。同时这个抽象层还可以进行数据迁移,这样保证不管底层存储技术如何变化,对外的服务是统一的。当然这个方法更多的是从应用架构上去进行处理,牵扯到的部门会非常多。

收起
硬件生产 · 2020-07-17
浏览1374
我们提供包括基于快照、基于并行访问等等多种迁移工具,具体使用何种工具需要看现有的详细需求。所有的工具都有成功案例可参考。举例来说,针对变更时间窗紧张的客户,我们会在设备带宽允许的情况下,增多迁移器(Migeration Agent)的数量,以提升迁移速度。而快照方式,我们能够以中...显示全部

我们提供包括基于快照、基于并行访问等等多种迁移工具,具体使用何种工具需要看现有的详细需求。所有的工具都有成功案例可参考。

举例来说,针对变更时间窗紧张的客户,我们会在设备带宽允许的情况下,增多迁移器(Migeration Agent)的数量,以提升迁移速度。
而快照方式,我们能够以中间联接的最高速度实现数据传输。

收起
硬件生产 · 2020-07-17
浏览1288

提问者

shmi1989
系统运维工程师中国人寿上海数据中心

问题来自

相关问题

相关资料

问题状态

  • 发布时间:2020-07-17
  • 关注会员:3 人
  • 问题浏览:3133
  • 最近回答:2020-07-17
  • X社区推广