这是一个很好的问题。是否要使用对象存储没有固定的标准,一定要一定要根据自身的实际出发。下面我提供集中建议使用对象存储的场景:
1 非结构化数据体量过于庞大,在经济上和运维上的投入太大。对象存储通常采用分布式服务器加容量大性能一般的介质如sata盘,采用采用就删的方案的方案做数据冗余得盘率接近传统存储而且冗余性高于普通普通的raid。特别是由于数据体量庞大业务已经初步初步显现出问题。这种情况下可以考虑使用对象存储。如果尚未遇到这些痛点可以继续使用传统存储。
2 数据体量不是使用对象存储使用对象存储绝对的门槛,如果企业的业务是会产生大量音视频、图片、各类格式的文档以及日志等情况,也可以大胆选择对象存储。
3 对象存储对象存储的实现方案也很多,基于开源ceph的,厂家自研的等等,当然可以参考IDC或者其他第三方评测机构的报告。首先还是搞清楚自己上对象存储的核心需求是什么,是要追求严格控制成本,还是要尽可能高的冗余性及容灾能力容灾能力来选择适合自己的。个人建议从以下几个角度出发考虑选型问题:第一,规划的容量和可以接受的冗余度。容量决定了部署架构架构节点数。第二,哪些功能特性是生产需要的。对象存储支持支持许多传统文件不具备的功能,挑选其中自己真正需要的。第三,要实现什么级别的容灾等级。
金融机构在管理非结构化数据中要思考如何解决以下两个问题:
1 、影像数据、双录音视频数据、业务数据、互联网数据急剧增长带来的存储成本问题
2 、存储系统如何支撑 AI 项目实现业务全流程的数据分析和治理管控
大多数城商行的数字化基础比较薄弱:
因此,在建设数据治理体系时一定要面向未来,在技术选择时从长远打算,避免被单一应用限制了未来的发展。具体项目的方案,要根据企业客户目前非结构化数据的数据量和业务规模来选择。非结构化数据一般来说有 NAS 和对象两种存储架构。
传统 NAS 存储是基于文件系统的方案,采用 B+ 树形目录组织结构,比较适用于企业文件数量少的业务场景,当文件数量达到千万级以上, NAS 存储会遇到文件寻址越来越慢的瓶颈,加之单个文件系统容量受限,超过容量后对 IT 运维将带来巨大挑战。
非结构化数据的特点是数据量大且增长迅速,并发量要求高而对延迟不敏感,适合采用扩展灵活、成本较低的软件定义分布式存储,构建底层数据湖,让数据在不同业务之间共享,快速支持上层应用。对象存储这种非结构化数据存储方式,使用简单、业务之间数据共享便利,但需要修改原有的数据读写方式,很多银行有专门处理图片数据的影像平台,且这些影像平台多已支持 / 容易改造,以支持对象存储协议,同时又对上层业务系统透明。
随着互联网 + 趋势的推进以及各类智能终端的普及,银行的非结构化数据增长很快,新增数据中超过 80% 都是非结构化数据,新型 对象存储将成为企业存储的新标准。对象存储支持的能力:
杉岩数据的对象存储已经在多个城商行得到应用:
杉岩数据针对金融行业特点还研发了这些价值特性: