实时拿到数据后如何真正进行实时跑批?

很多实时数仓在使用CDC等技术后能够达到秒级数据同步,但后续加工仍然比较依赖传统数据库和传统的加工方式,导致只能定时跑批。如何能够达到实时etl加工?显示全部

很多实时数仓在使用CDC等技术后能够达到秒级数据同步,但后续加工仍然比较依赖传统数据库和传统的加工方式,导致只能定时跑批。如何能够达到实时etl加工?

收起
参与5

查看其它 1 个回答chailei_8306的回答

chailei_8306chailei_8306研发工程师城商行

如果必须实时跑批,也就是让后续的表能够实时变化。那么能想到的方案也就是用视图了。
但这样就限制了实时数仓的规模。

银行 · 2019-09-04
浏览1894

回答者

chailei_8306
研发工程师城商行
擅长领域: 大数据数据库数据仓库

chailei_8306 最近回答过的问题

回答状态

  • 发布时间:2019-09-04
  • 关注会员:2 人
  • 回答浏览:1894
  • X社区推广