对象存储如何和现有业务系统对接?原有nas数据如何平滑迁移?

城商行,大部分业务系统都是向第三方公司采购。
对象存储的使用,会有应用接口改造,历史数据迁移问题。具体该如何实施,对生产影响最小。

参与17

4同行回答

zrosinesszrosiness  系统架构师 , JSRCB
建议老业务系统老办法,新业务系统新办法。改造原有业务系统,需要单位投入大量的人力和财力,况且第三方公司也未必非常熟悉对象存储的使用,全部改造存在一定风险。建议对新业务系统,在UAT环境充分验证后,再使用对象存储...显示全部

建议老业务系统老办法,新业务系统新办法。改造原有业务系统,需要单位投入大量的人力和财力,况且第三方公司也未必非常熟悉对象存储的使用,全部改造存在一定风险。建议对新业务系统,在UAT环境充分验证后,再使用对象存储

收起
银行 · 2018-12-05
浏览3282
匿名用户匿名用户
既然涉及到要改接口。那么对象存储能异构NAS这个功能就很有必要性。这样可以保证你最高的业务连续性。还能不影响现有阶段的业务显示全部

既然涉及到要改接口。那么对象存储能异构NAS这个功能就很有必要性。这样可以保证你最高的业务连续性。还能不影响现有阶段的业务

收起
IT咨询服务 · 2018-12-04
浏览3117
孟威孟威  系统架构师 , IT
对象存储如何和现有业务系统对接?1.如果用户的应用支持标准的对象存储接口,则不需要更改应用,对象存储直接使用和访问;2.如果用户具备对象存储的合作伙伴支持的应用,比如备份、归档类的应用作为gateway;3.如果用户要求不更改应用,兼顾老系统应用访问接口,且需求受益于对象存储,可...显示全部

对象存储如何和现有业务系统对接?
1.如果用户的应用支持标准的对象存储接口,则不需要更改应用,对象存储直接使用和访问;
2.如果用户具备对象存储的合作伙伴支持的应用,比如备份、归档类的应用作为gateway;
3.如果用户要求不更改应用,兼顾老系统应用访问接口,且需求受益于对象存储,可选择IBM GPFS、第三方NAS网关无缝集成COS,将对象存储作为二级存储池。比如,对于影像系统来说,用户使用GPFS做并行分布式文件系统,可在后端加入COS作为一个分层的存储解决方案。GPFS负责性能和NFS等文件协议,而COS负责无限制扩展对象存储池。GPFS TCT功能通过策略自动实现GPFS和COS的迁移和回迁,全过程对应用是透明的。GPFS+TCT+COS整体解决方案兼顾应用访问兼容性和性能,保持现有应用的访问模式不变,应用开发无需适配对象存储。
4.对多数用户来说,需要对应用的接口进行更改,改为标准的S3等COS支持的标准接口。但是从长远角度来说,对象存储是未来突破数据临界点的一个发展方向,用来整合海量的非结构化数据,如果数据存在一个统一的平台上,具备标准的接口,那么未来就可以实现跨平台的应用数据共享。此时应用改造的解决方式是,对于新上线的系统对非结构化数据的访问采用对象存储,对于存量的系统,逐步推进变更的方式。
此外,如果是替换原有的文件系统等,对于现有的如内容管理平台等影像平台,目前的数据量庞大,迁移过程是个严峻的挑战,迁移至对象存储需要进行详细的方案设计,保证对系统的影响最小,提供系统的业务连续性。

原有nas数据如何平滑迁移?
一般来说,新的NAS设备本身具有向对象存储迁移的功能。或者使用数据无缝迁移、协议转换引擎等工具,能够帮助用户实现原有业务系统已有数据到对象存储的无缝迁移。
用户访问数据时,若对象存储无该部分数据,则会回源到用户源站去读取数据,并写入到对象存储,将数据传递给用户。利用迁移工具将用户源站的已有数据迁移到对象存储。若用户源站所有数据都被访问过,则源站所有数据都会被同步对象存储,无需再使用迁移工具迁移数据。
结合用户的迁移场景,综合考虑用户的业务需求、迁移的时间成本、数据迁移量、网络速度等因素(1MB 以下的小文件数量较多、磁盘 IO 性能不足等等也会影响到数据的迁移进度),可以选择离线迁移或者在线迁移两种方式。

  1. 离线迁移:如果用户的存储容量很大(TB~PB 级别),或者带宽有限,在线迁移时间成本较高,业务场景允许停服,则可以考虑离线的迁移方式。离线迁移可解决本地数据中心通过网络传输迁移云端时间长、成本高、安全性低的问题。
  2. 在线迁移:如果用户的存储容量不是很大,而且业务场景不太允许停服,可以考虑在线的迁移方式。
    典型的NAS设备在线迁移至对象存储说明如下图所示:
    9bc1vak2h0d
    9bc1vak2h0d

DB:修改访问地址,文件系统地址转到对象存储服务的url。
File Gate Way说明:
 指定源和目标:
 源端:NAS设备,采用NFS/CIFS协议,由文件系统组成,目录结构Folder/Directory/File
 目标:COS设备,采用Swift/S3协议,Buckets组成,存放Object ID,http://hostIP/namespace/AABB
 程序判断:
 已经迁移完成的文件直接提供对象存储访问
 未迁移过来的文件通过回源的方式提供访问
 完整性校验,完成迁移
迁移至对象存储的设计,移除迁移链路的不稳定性和风险,因此COS迁移机制支持多种功能,保障用户成功完成数据的在线迁移。
 查看数据迁移进度
 文件一致性校验
 失败重传
 断点续传
 启动HTTPs安全传输等功能
为了提升迁移效率机制,分布式并行传输有利于加快迁移速度,迁移至对象存储支持:
 可迁移全量或增量数据
 根据网络环境自定义调整大小文件的阈值
 针对大文件小文件分别定义并发度
 实现大文件分块、小文件并发传输
 自定义迁移执行时间和带宽限制
 监控生产数据压力,保证自身业务运行不受迁移数据带宽占用影响等最佳迁移方式

收起
IT咨询服务 · 2018-12-05
浏览3281
匿名用户匿名用户
应用改造增加gateway可以NAS和对象存储双写,先试运行进行观察显示全部

应用改造增加gateway可以NAS和对象存储双写,先试运行进行观察

收起
金融其它 · 2018-12-05
浏览3180

提问者

leelg
leelg0010
系统工程师九江银行
擅长领域: 云计算云原生存储

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-12-04
  • 关注会员:5 人
  • 问题浏览:5041
  • 最近回答:2018-12-05
  • X社区推广