城商行,大部分业务系统都是向第三方公司采购。
对象存储的使用,会有应用接口改造,历史数据迁移问题。具体该如何实施,对生产影响最小。
建议老业务系统老办法,新业务系统新办法。改造原有业务系统,需要单位投入大量的人力和财力,况且第三方公司也未必非常熟悉对象存储的使用,全部改造存在一定风险。建议对新业务系统,在UAT环境充分验证后,再使用对象存储
收起对象存储如何和现有业务系统对接?
1.如果用户的应用支持标准的对象存储接口,则不需要更改应用,对象存储直接使用和访问;
2.如果用户具备对象存储的合作伙伴支持的应用,比如备份、归档类的应用作为gateway;
3.如果用户要求不更改应用,兼顾老系统应用访问接口,且需求受益于对象存储,可选择IBM GPFS、第三方NAS网关无缝集成COS,将对象存储作为二级存储池。比如,对于影像系统来说,用户使用GPFS做并行分布式文件系统,可在后端加入COS作为一个分层的存储解决方案。GPFS负责性能和NFS等文件协议,而COS负责无限制扩展对象存储池。GPFS TCT功能通过策略自动实现GPFS和COS的迁移和回迁,全过程对应用是透明的。GPFS+TCT+COS整体解决方案兼顾应用访问兼容性和性能,保持现有应用的访问模式不变,应用开发无需适配对象存储。
4.对多数用户来说,需要对应用的接口进行更改,改为标准的S3等COS支持的标准接口。但是从长远角度来说,对象存储是未来突破数据临界点的一个发展方向,用来整合海量的非结构化数据,如果数据存在一个统一的平台上,具备标准的接口,那么未来就可以实现跨平台的应用数据共享。此时应用改造的解决方式是,对于新上线的系统对非结构化数据的访问采用对象存储,对于存量的系统,逐步推进变更的方式。
此外,如果是替换原有的文件系统等,对于现有的如内容管理平台等影像平台,目前的数据量庞大,迁移过程是个严峻的挑战,迁移至对象存储需要进行详细的方案设计,保证对系统的影响最小,提供系统的业务连续性。
原有nas数据如何平滑迁移?
一般来说,新的NAS设备本身具有向对象存储迁移的功能。或者使用数据无缝迁移、协议转换引擎等工具,能够帮助用户实现原有业务系统已有数据到对象存储的无缝迁移。
用户访问数据时,若对象存储无该部分数据,则会回源到用户源站去读取数据,并写入到对象存储,将数据传递给用户。利用迁移工具将用户源站的已有数据迁移到对象存储。若用户源站所有数据都被访问过,则源站所有数据都会被同步对象存储,无需再使用迁移工具迁移数据。
结合用户的迁移场景,综合考虑用户的业务需求、迁移的时间成本、数据迁移量、网络速度等因素(1MB 以下的小文件数量较多、磁盘 IO 性能不足等等也会影响到数据的迁移进度),可以选择离线迁移或者在线迁移两种方式。
DB:修改访问地址,文件系统地址转到对象存储服务的url。
File Gate Way说明:
指定源和目标:
源端:NAS设备,采用NFS/CIFS协议,由文件系统组成,目录结构Folder/Directory/File
目标:COS设备,采用Swift/S3协议,Buckets组成,存放Object ID,http://hostIP/namespace/AABB。
程序判断:
已经迁移完成的文件直接提供对象存储访问
未迁移过来的文件通过回源的方式提供访问
完整性校验,完成迁移
迁移至对象存储的设计,移除迁移链路的不稳定性和风险,因此COS迁移机制支持多种功能,保障用户成功完成数据的在线迁移。
查看数据迁移进度
文件一致性校验
失败重传
断点续传
启动HTTPs安全传输等功能
为了提升迁移效率机制,分布式并行传输有利于加快迁移速度,迁移至对象存储支持:
可迁移全量或增量数据
根据网络环境自定义调整大小文件的阈值
针对大文件小文件分别定义并发度
实现大文件分块、小文件并发传输
自定义迁移执行时间和带宽限制
监控生产数据压力,保证自身业务运行不受迁移数据带宽占用影响等最佳迁移方式