查看其它 2 个回答flowery的回答

floweryflowery  存储解决方案架构师 , SandStone杉岩数据

金融机构在管理非结构化数据中要思考如何解决以下两个问题:

1 、影像数据、双录音视频数据、业务数据、互联网数据急剧增长带来的存储成本问题
2 、存储系统如何支撑 AI 项目实现业务全流程的数据分析和治理管控

大多数城商行的数字化基础比较薄弱:

  • 27% 的中小银行缺乏公司级数据规范,数据多头管理,部门数据互通靠自发或人工传递;
  • 46% 的中小银行初步搭建公司级数据管控体系和基础规范,但应用尚未下沉到业务,数据互通程度不理想;
  • 仅 18% 的中小银行初步建立数据管理体系和管控工具,进行了平台整合,各部门基本落实公司数据规范体系;
  • 仅 9% 的中小银行实现有效数据治理,数据管理体系完善,全面实现大数据应用。

因此,在建设数据治理体系时一定要面向未来,在技术选择时从长远打算,避免被单一应用限制了未来的发展。具体项目的方案,要根据企业客户目前非结构化数据的数据量和业务规模来选择。非结构化数据一般来说有 NAS 和对象两种存储架构。

传统 NAS 存储是基于文件系统的方案,采用 B+ 树形目录组织结构,比较适用于企业文件数量少的业务场景,当文件数量达到千万级以上, NAS 存储会遇到文件寻址越来越慢的瓶颈,加之单个文件系统容量受限,超过容量后对 IT 运维将带来巨大挑战。

非结构化数据的特点是数据量大且增长迅速,并发量要求高而对延迟不敏感,适合采用扩展灵活、成本较低的软件定义分布式存储,构建底层数据湖,让数据在不同业务之间共享,快速支持上层应用。对象存储这种非结构化数据存储方式,使用简单、业务之间数据共享便利,但需要修改原有的数据读写方式,很多银行有专门处理图片数据的影像平台,且这些影像平台多已支持 / 容易改造,以支持对象存储协议,同时又对上层业务系统透明。

随着互联网 + 趋势的推进以及各类智能终端的普及,银行的非结构化数据增长很快,新增数据中超过 80% 都是非结构化数据,新型 对象存储将成为企业存储的新标准。对象存储支持的能力:

  1. 解决了文件数量限制,支持百亿级文件,全面解决了原有 FTP 方案的文件数量限制
  2. 避免了跨应用的数据迁移,多业务使用单一命名空间的数据存储平台
  3. 解决了原有的检索问题,内置元数据和标签检索机制,快速调阅指定文件,实现历史数据快速在线查询
  4. 对象存储单个目录或者存储空间能达到数十 PB 甚至数百 PB 级,可以满足业务系统整个生命周期的存储容量需求,无需挂载目录和调整业务系统,避免陷入运维陷阱

杉岩数据的对象存储已经在多个城商行得到应用:

  • BJ 银行信用卡中心(身份扫描件、合同件、用户签字件等非结构化数据,千万级文件数量)
  • 中山农商行(核心系统影像数据 + 社保 /VTM 业务数据,亿级文件数量的非结构化数据统一存储 )
  • 珠海华润银行(文本、音频、照片、压缩文件,每天 400G 数据量,跨区复制主备容灾)

杉岩数据针对金融行业特点还研发了这些价值特性:

  • 兼容 FTP 、 CIFS/NFS 文件接口,兼容传统企业应用,实现平滑过渡
  • 兼顾小型化需求,最低一台起步,满足中小型金融企业的存储需求
  • 支持文件元数据和元数据检索,代替 ECM 功能,满足企业内容管理需求
  • 支持多数据中心容灾,实现双写数据中心的架构
  • 单系统同时支持副本和纠删码(类似分布式 RAID ),兼顾影像系统性能和存储成本型应用需求
  • 支持生命周期管理和冷热分层,根据每个文件设定的保留时间,自动移动到成本更低的存储设备上或者纠删码存储池上
  • 支持 NAS 异构管理,实现 NAS 数据的平滑迁移
  • 支持对图片、音视等媒体文件的智能处理,满足转码、压缩、格式转换、水印、旋转、切片等多种场景化需求
  • 支持和深度学习框架对接,支持 AI 能力对接,可以对接手机终端人脸识别、活体检测等业务需求
 2020-12-15
浏览638

回答者

flowery存储解决方案架构师, SandStone杉岩数据

对象存储选型优先顺序调查

发表您的选型观点,参与即得50金币。

回答状态

  • 发布时间:2020-12-15
  • 关注会员:4 人
  • 回答浏览:638