在数据中台中的数据查询功能如何设计?

一方面前端或渠道对于明细数据的查询需求各异,另一方面很多系统积累的数据成指数级增长,自身运维压力较大,就将历史数据迁移到了数仓或大数据平台保存,并对自身的数据做了清理。这就造成了一份数据,按照数据产生时间的不同存在两个系统里。前端系统的很多数据查询需求,要求的时...显示全部

一方面前端或渠道对于明细数据的查询需求各异,另一方面很多系统积累的数据成指数级增长,自身运维压力较大,就将历史数据迁移到了数仓或大数据平台保存,并对自身的数据做了清理。
这就造成了一份数据,按照数据产生时间的不同存在两个系统里。
前端系统的很多数据查询需求,要求的时间段比较长,例如最近3-5年。在这样的大背景下,如何为前端系统提供无缝的数据查询服务

收起
参与10

查看其它 2 个回答Steven的回答

StevenSteven课题专家组IT顾问steven

这涉及数据治理的数据分类分级问题。不同数据要进行分类,而且要进行数据中间环节处理,不能一存了之。
很多不仅仅是数据中台的事情。平台支撑中台,平台建设不好,中台就缺乏支撑。

历史数据查询,比如历史交易明细查询,可能提供1个月、3个月、6个月、1年、2年、3年、5年、10年等查询功能,不同的需求,数据的存储和实现可能是不一样的。1个月的数据可以从数据库查询出来,1年的历史数据可能就需要有个工具支撑,10年的更需要工具平台的支撑。但总的来说,需要化繁为简,不管多少年的,都可以一个月一个月的持续返回,你不可能让客户一直等着去查10年的数据才返回,而是一个动态更新的过程。这就需要中台下的平台支撑,连续不断的从各个存储区送回所需数据

这块设计还是有些复杂,有兴趣可以私下交流

证券 · 2020-06-02
浏览2472

回答者

Steven
IT顾问steven
擅长领域: 云计算容器容器云

Steven 最近回答过的问题

回答状态

  • 发布时间:2020-06-02
  • 关注会员:4 人
  • 回答浏览:2472
  • X社区推广