大数据实时数仓构建一般选型技术方案是怎样的?

原有业务系统多使用Oracle或mysql,如何实时接入到大数据平台的组件内,满足实时查询及实时计算的需求。 具体需求如下:
1.多个业务系统数据融合进行关联实时查询。
2.流计算flink 如何做,能快速开发满足统计类实时计算的需求。
3.大屏展示指标比较多,如何快速响应多并发实时查询。

参与5

2同行回答

肖根元肖根元深圳深圳证券通信公司
针对您的问题,答复一下如下,仅供参考1.多个业务系统数据融合进行关联实时查询。     答复:首先,是把多个业务系统的数据ETL抽取过来,集中存储到贴源库;其次,是数据分析,识别业务主键;再次,是通过业务主键,进行数据关联、加工,并进入数据仓库的DWD层;最后,根据业务要求,构建关联后...显示全部

针对您的问题,答复一下如下,仅供参考
1.多个业务系统数据融合进行关联实时查询。
    答复:首先,是把多个业务系统的数据ETL抽取过来,集中存储到贴源库;其次,是数据分析,识别业务主键;再次,是通过业务主键,进行数据关联、加工,并进入数据仓库的DWD层;最后,根据业务要求,构建关联后的集市表,提供给业务查询。
2.流计算flink 如何做,能快速开发满足统计类实时计算的需求。
    答复:Flink能满足最新值计算、累计值计算、窗口计算等多种计算模式。简单计算尽量Flink-SQL能搞定,降低开发难度,少量复杂计算通过Java自定义算子实现。
3.大屏展示指标比较多,如何快速响应多并发实时查询。
   答复: 有两种主流的方法;一是:实时数据推送,大屏订阅数据,后台指标数据变化,主动推送过来;二是:前端轮询+后端缓存。

收起
证券 · 2022-07-05
浏览732

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-05-13
  • 关注会员:3 人
  • 问题浏览:1909
  • 最近回答:2022-07-05
  • X社区推广