海量文件的迁移方案?

在存储迁移中,有种典型的场景就是海量小文件的迁移,这块有什么较好的不占用太多停机窗口的数据迁移方案?

参与14

4同行回答

jxnxsdengyujxnxsdengyu课题专家组系统工程师江西农信
刚好我们在做这一块,也迁移得差不多了,这里我扣简单说一下,之前我们的影像系统存在海量图片文件,存储在集中式SAN存储中,按照在线、近线和离线三种方式存储,数据量越来越大,严重影响存取效率,存储架构层次多、过于复杂,难以管理,我们采取的改造方案是,通过增加影像应用存取接口,逐步...显示全部

刚好我们在做这一块,也迁移得差不多了,这里我扣简单说一下,之前我们的影像系统存在海量图片文件,存储在集中式SAN存储中,按照在线、近线和离线三种方式存储,数据量越来越大,严重影响存取效率,存储架构层次多、过于复杂,难以管理,我们采取的改造方案是,通过增加影像应用存取接口,逐步读取集中式存储中的影像数据来迁移至对象存储中,各渠道应用调用影像系统的接口不变,但影像系统的处理逻辑进行改造,增加了判断,全新的影像文件直接落至对象存储,旧的未迁移的影像文件读取依旧从集中式存储中读取,新的和迁移后影像文件读取则变为对象存储,待旧的文件全部迁移完成后,将原有的集中式存储读取接口关闭,最终实现数据迁移。

收起
银行 · 2021-03-25
浏览1064
wybbcwybbc系统工程师HN农信
应该很多厂商提供专业的迁移工具和迁移服务吧。如果前期有比较合理的存储专用网络设计,带宽容量较大,还是比较快的,未必都需要停机窗口。我们几十T的nas小文件同步也经常做。真正很海量的小文件,都是不是OLTP系统,停机窗口应该也还是有的。...显示全部

应该很多厂商提供专业的迁移工具和迁移服务吧。
如果前期有比较合理的存储专用网络设计,带宽容量较大,还是比较快的,未必都需要停机窗口。我们几十T的nas小文件同步也经常做。
真正很海量的小文件,都是不是OLTP系统,停机窗口应该也还是有的。

收起
银行 · 2021-03-23
浏览1118
从 原阵列 迁移到对象存储平台,一般数据量比较巨大,举一个平台数据迁移的例子。 迁移 主要涉及几个方面: 1. 接口的改造,应用软件若不支持 S 3接口要先进行接口改造,客户可以自行改造或者同应用厂家合作,比如对接的是 DELL 的 ECS ,DELL可以提供接口的代码样例,目前DELLEMC的ECS已...显示全部

从 原阵列 迁移到对象存储平台,一般数据量比较巨大,举一个平台数据迁移的例子。
迁移 主要涉及几个方面:

1. 接口的改造,应用软件若不支持 S 3接口要先进行接口改造,客户可以自行改造或者同应用厂家合作,比如对接的是 DELL 的 ECS ,DELL可以提供接口的代码样例,目前DELLEMC的ECS已经同信雅达等主流厂家做过接口的适配联调以及兼容应验证等工作。
2. 如果原应用已经支持目标接口协议如S3,可直接从应用层面做迁移,应用厂家会有相应的方案。
3. 也可依托 存储厂家从底层做数据迁移
存储厂家有对应的迁移方法和工具。部分用户会采用逐步迁移的方式,原有数据存放方式维持不变慢慢迁移至对象,新业务数据直接写入至对象存储的方式来进行存放。

收起
IT其它 · 2021-03-26
浏览1096
Smart #1Smart #1存储工程师某科技公司
1、目前针对文件系统迁移都没有很好的解决方案,各厂家提供集成OS迁移命令封装形式的工具;实现在线迁移方式;2、采用多次增量同步,减少最后一次停机窗口显示全部

1、目前针对文件系统迁移都没有很好的解决方案,各厂家提供集成OS迁移命令封装形式的工具;实现在线迁移方式;
2、采用多次增量同步,减少最后一次停机窗口

收起
IT其它 · 2021-03-23
浏览1026

提问者

lzg21st
lzg21st41437
存储工程师brcb
擅长领域: 存储灾备分布式架构

问题来自

问题状态

  • 发布时间:2021-03-23
  • 关注会员:5 人
  • 问题浏览:2377
  • 最近回答:2021-03-26
  • X社区推广