在数据中台中的数据查询功能如何设计?

一方面前端或渠道对于明细数据的查询需求各异,另一方面很多系统积累的数据成指数级增长,自身运维压力较大,就将历史数据迁移到了数仓或大数据平台保存,并对自身的数据做了清理。
这就造成了一份数据,按照数据产生时间的不同存在两个系统里。
前端系统的很多数据查询需求,要求的时间段比较长,例如最近3-5年。在这样的大背景下,如何为前端系统提供无缝的数据查询服务

参与10

3同行回答

StevenSteven课题专家组IT顾问steven
这涉及数据治理的数据分类分级问题。不同数据要进行分类,而且要进行数据中间环节处理,不能一存了之。很多不仅仅是数据中台的事情。平台支撑中台,平台建设不好,中台就缺乏支撑。历史数据查询,比如历史交易明细查询,可能提供1个月、3个月、6个月、1年、2年、3年、5年、10年等查...显示全部

这涉及数据治理的数据分类分级问题。不同数据要进行分类,而且要进行数据中间环节处理,不能一存了之。
很多不仅仅是数据中台的事情。平台支撑中台,平台建设不好,中台就缺乏支撑。

历史数据查询,比如历史交易明细查询,可能提供1个月、3个月、6个月、1年、2年、3年、5年、10年等查询功能,不同的需求,数据的存储和实现可能是不一样的。1个月的数据可以从数据库查询出来,1年的历史数据可能就需要有个工具支撑,10年的更需要工具平台的支撑。但总的来说,需要化繁为简,不管多少年的,都可以一个月一个月的持续返回,你不可能让客户一直等着去查10年的数据才返回,而是一个动态更新的过程。这就需要中台下的平台支撑,连续不断的从各个存储区送回所需数据

这块设计还是有些复杂,有兴趣可以私下交流

收起
证券 · 2020-06-02
浏览2471

提问者

VOLVO
项目经理省农信社
擅长领域: 大数据人工智能知识图谱

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-06-02
  • 关注会员:4 人
  • 问题浏览:6645
  • 最近回答:2020-06-04
  • X社区推广