在数据中台中的数据查询功能如何设计?

一方面前端或渠道对于明细数据的查询需求各异,另一方面很多系统积累的数据成指数级增长,自身运维压力较大,就将历史数据迁移到了数仓或大数据平台保存,并对自身的数据做了清理。
这就造成了一份数据,按照数据产生时间的不同存在两个系统里。
前端系统的很多数据查询需求,要求的时间段比较长,例如最近3-5年。在这样的大背景下,如何为前端系统提供无缝的数据查询服务

参与10

3同行回答

木讷大叔爱运维木讷大叔爱运维  运维老兵 , 互联网+金融
这是一个很好的问题,不止数据中台,很多涉及历史数据查询的场景都会遇到。数据内容分层和数据组件分级是可以总结出一套明确方法论来指导实践的。笔者在之前的文章中曾经系统的分享过,各位架构师可以查询阅读。这里抛砖引玉,以金融业常见的客户交易明细查询场景为例,说明方法论...显示全部

这是一个很好的问题,不止数据中台,很多涉及历史数据查询的场景都会遇到。数据内容分层和数据组件分级是可以总结出一套明确方法论来指导实践的。笔者在之前的文章中曾经系统的分享过,各位架构师可以查询阅读。这里抛砖引玉,以金融业常见的客户交易明细查询场景为例,说明方法论中需要各位架构师关注的点:

关注点 1 :明确服务对象。直接服务客户、间接服务客户、服务内部管理、服务内外部审计、服务运维异常备查。不同的服务对象,对数据存储组件的综合性能(并发、容量、弹性扩容等)要求不同,这部分可以通过固定的几项指标量化。上述几个服务对象对数据存储组件综合性能的要求基本是逐级递减的。

关注点 2 :量化服务场景。客户交易明细查询场景就要通过关键指标来量化这个场景,需要明确不同时间区间的访问频度、访问峰值,单次查询的时间范围区间,单次查询的返回记录数,数据明细分布曲线。这一组量化的数据将是指导数据内容时间区间划分、数据存储组件选型的重要依据。

关注点 3 :量化组件能力。这里要结合各家机构自身所具备的技术储备,区分自身所具有的数据存储组件能力,像笔者所在机构,就具备关系型数据库、内存数据库、分布式 KV 型数据库、分布式数据等组件可控选型,这里可以从单表容量、性能、是否支持复杂关联等技术指标和响应级别、灾备级别等运维指标上得以量化。

关注点 4 :综合服务对象、量化后的服务场景、量化后的组件能力,制定数据组件的分级服务方案,多种组件取长补短、灵活插拔、组合服务。回到客户交易明细查询场景的例子: T+0 日数据,由产品系统通过实时流同步至内存数据库提供服务; T+1 年数据,由产品系统夜间批量同步至关系型数据库提供服务; T+1 年 ~T+10 年,由关系型数据库定期降级至分布式数据库提供服务。前台封装数据查询逻辑,实现数据查询路由、数据分页游标缓存等基本功能。

收起
金融其它 · 2020-06-04
浏览2741
sxtycxxsxtycxx  解决方案经理 , 人工智能(计算机视觉)
数据中台的查询功能需要提供多维度的数据查询功能,例如精准、模糊、组合等传统的查询方式,同时还需要支持历史数据的离线查询和实时数据的即席查询即席查询:应用场景为实时查询,对实时性要求较高离线查询:应用场景为离线查询,对查询数据量要求较高、实时性相对低一些...显示全部

数据中台的查询功能需要提供多维度的数据查询功能,例如精准、模糊、组合等传统的查询方式,同时还需要支持历史数据的离线查询和实时数据的即席查询
即席查询:应用场景为实时查询,对实时性要求较高
离线查询:应用场景为离线查询,对查询数据量要求较高、实时性相对低一些

收起
互联网服务 · 2020-06-02
浏览2477
StevenSteven  IT顾问 , steven
这涉及数据治理的数据分类分级问题。不同数据要进行分类,而且要进行数据中间环节处理,不能一存了之。很多不仅仅是数据中台的事情。平台支撑中台,平台建设不好,中台就缺乏支撑。历史数据查询,比如历史交易明细查询,可能提供1个月、3个月、6个月、1年、2年、3年、5年、10年等查...显示全部

这涉及数据治理的数据分类分级问题。不同数据要进行分类,而且要进行数据中间环节处理,不能一存了之。
很多不仅仅是数据中台的事情。平台支撑中台,平台建设不好,中台就缺乏支撑。

历史数据查询,比如历史交易明细查询,可能提供1个月、3个月、6个月、1年、2年、3年、5年、10年等查询功能,不同的需求,数据的存储和实现可能是不一样的。1个月的数据可以从数据库查询出来,1年的历史数据可能就需要有个工具支撑,10年的更需要工具平台的支撑。但总的来说,需要化繁为简,不管多少年的,都可以一个月一个月的持续返回,你不可能让客户一直等着去查10年的数据才返回,而是一个动态更新的过程。这就需要中台下的平台支撑,连续不断的从各个存储区送回所需数据

这块设计还是有些复杂,有兴趣可以私下交流

收起
证券 · 2020-06-02
浏览2412

提问者

VOLVO
项目经理省农信社
擅长领域: 大数据人工智能知识图谱

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-06-02
  • 关注会员:4 人
  • 问题浏览:6556
  • 最近回答:2020-06-04
  • X社区推广