查看其它 2 个回答amany的回答

amanyamany系统架构师zes

这是个好问题。银行拥有海量的数据,数据的类型也很多,面对海量、多种类的数据,如何高效率的存储和使用,是银行的IT部门需要一直考虑的问题,这里要兼顾成本、效率,运维,节能等等一系列复杂的因素,对数据存储资源池的规划要合理统筹。
银行的数据按类型分,有结构化的数据,也有很多像文本、图片、视频、语音这样的半结构化或非结构化数据,这些数据的存储,访问和处理,都有不同的方式。规划存储池时,需要将不同类型的数据选择不同的存储设备,以实现成本和效率的最优配置,更好的支撑业务诉求。结构化的数据以实时分析决策为主,需要支持数据高并发、低时延访问,规划独立的高性能存储池,一般情况下,数据的访问频次是按数据的鲜活度逐步下降的,对于长期存放、访问频率比较低的数据,放在高性能存储池上不仅拉高存储成本,也影响数据的访问效率,这时需要规划分层存储,把低频访问的数据拿出来,规划独立的资源池存储。
对非结构化数据,一般需要先加工处理后再使用,对数据访问的接口协议也和结构化不同,需要规划独立的资源池,同时要考虑成本、碎片化文件高效读写等一系列问题。
这样,银行就会有多个数据存储资源池,如何把这些分散的数据拉通,高效访问?需要在数据治理时通盘考虑,规划统一的元数据目录,业务可以不用提前感知数据存放的位置,做到按需取用,同时,要考虑数据在不同存储池之间的流动,数据存放位置的变更实时刷新到元数据目录。对数据存放的格式可以考虑尽量通用化,实现不同的业务可以共享一份数据,减少数据重复存储和搬移,这样可以有效控制成本。
以上是我的一些粗浅建议,供参考。

IT咨询服务 · 2022-02-24
浏览919

回答者

amany
系统架构师zes
擅长领域: 大数据存储数据库

amany 最近回答过的问题

回答状态

  • 发布时间:2022-02-24
  • 关注会员:4 人
  • 回答浏览:919
  • X社区推广