数据迁移是如何做的?比如从华为存储的非结构化数据迁移至对象存储,有接口还是通过其他方式?

参与11

3同行回答

zrosinesszrosiness  系统架构师 , JSRCB
编写程序调用接口,或者使用工具都可以实现迁移显示全部

编写程序调用接口,或者使用工具都可以实现迁移

收起
银行 · 2018-12-05
浏览3274
孟威孟威  系统架构师 , IT
一些NAS设备本身具有向对象存储迁移的功能,或者使用数据无缝迁移、协议转换引擎等工具,能够帮助用户实现原有业务系统已有数据到对象存储的无缝迁移。您提到的华为存储,你需要关注一下该存储是否提供向对象存储无缝迁移的工具或者接口。一般来说,通用的迁移至对象存储的做法...显示全部

一些NAS设备本身具有向对象存储迁移的功能,或者使用数据无缝迁移、协议转换引擎等工具,能够帮助用户实现原有业务系统已有数据到对象存储的无缝迁移。

您提到的华为存储,你需要关注一下该存储是否提供向对象存储无缝迁移的工具或者接口。

一般来说,通用的迁移至对象存储的做法如下:

用户访问数据时,若对象存储无该部分数据,则会回源到用户源站去读取数据,并写入到对象存储,将数据传递给用户。利用迁移工具将用户源站的已有数据迁移到对象存储。若用户源站所有数据都被访问过,则源站所有数据都会被同步对象存储,无需再使用迁移工具迁移数据。
结合用户的迁移场景,综合考虑用户的业务需求、迁移的时间成本、数据迁移量、网络速度等因素(1MB 以下的小文件数量较多、磁盘 IO 性能不足等等也会影响到数据的迁移进度),可以选择离线迁移或者在线迁移两种方式。

  1. 离线迁移:如果用户的存储容量很大(TB~PB 级别),或者带宽有限,在线迁移时间成本较高,业务场景允许停服,则可以考虑离线的迁移方式。离线迁移可解决本地数据中心通过网络传输迁移云端时间长、成本高、安全性低的问题。
  2. 在线迁移:如果用户的存储容量不是很大,而且业务场景不太允许停服,可以考虑在线的迁移方式。
    典型的NAS设备在线迁移至对象存储说明如下图所示:
    fxb27esmhuv
    fxb27esmhuv

DB:修改访问地址,文件系统地址转到对象存储服务的url。
File Gate Way说明:
 指定源和目标:
 源端:NAS设备,采用NFS/CIFS协议,由文件系统组成,目录结构Folder/Directory/File
 目标:COS设备,采用Swift/S3协议,Buckets组成,存放Object ID,http://hostIP/namespace/AABB
 程序判断:
 已经迁移完成的文件直接提供对象存储访问
 未迁移过来的文件通过回源的方式提供访问
 完整性校验,完成迁移
迁移至对象存储的设计,移除迁移链路的不稳定性和风险,因此COS迁移机制支持多种功能,保障用户成功完成数据的在线迁移。
 查看数据迁移进度
 文件一致性校验
 失败重传
 断点续传
 启动HTTPs安全传输等功能
为了提升迁移效率机制,分布式并行传输有利于加快迁移速度,迁移至对象存储支持:
 可迁移全量或增量数据
 根据网络环境自定义调整大小文件的阈值
 针对大文件小文件分别定义并发度
 实现大文件分块、小文件并发传输
 自定义迁移执行时间和带宽限制
 监控生产数据压力,保证自身业务运行不受迁移数据带宽占用影响等最佳迁移方式

综上,当您选择IBM对象存储IBM COS,IBM提供为应用提供完整的NAS和对象存储的切换方案,规避新技术引入的风险,保障业务连续性。IBM会帮助用户更好的针对应用和架构的具体情况进行针对性的改造、部署、测试等。

收起
IT咨询服务 · 2018-12-06
chengzuqiaochengzuqiao  系统架构师 , 江西省农村信用社
有什么工具可参靠呢? 如果是编写程序接口,是不太现实的,工作量也大,你们是如何从把nas数据迁移到对象存储中呢?显示全部

有什么工具可参靠呢? 如果是编写程序接口,是不太现实的,工作量也大,你们是如何从把nas数据迁移到对象存储中呢?

收起
银行 · 2018-12-05
浏览3336

提问者

chengzuqiao
系统架构师江西省农村信用社
擅长领域: 存储备份软件定义存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-12-03
  • 关注会员:3 人
  • 问题浏览:5172
  • 最近回答:2018-12-06
  • X社区推广