准实时数据仓库数据采集和清洗的方式或工具有哪些?

离线数据处理基于批次进行数据采集,无法满足准实时数据仓库的业务场景,准实时数据仓库数据采集和清洗的方式或工具有哪些(是否有真实的实现场景可分享)?显示全部

离线数据处理基于批次进行数据采集,无法满足准实时数据仓库的业务场景,准实时数据仓库数据采集和清洗的方式或工具有哪些(是否有真实的实现场景可分享)?

收起
参与6

查看其它 1 个回答chailei_8306的回答

chailei_8306chailei_8306研发工程师城商行

    目前CDC能获取比较准确的变化数据,ogg也可以,性价比比较高,无需改造交易。

  在十年前用过消息队列方法,需要对交易进行改造,适合新建系统时考虑好。
  配置SQL抽取比较依赖记录的维护时间戳,往往是不可靠的,不建议使用。
银行 · 2019-09-04
浏览1955

回答者

chailei_8306
研发工程师城商行
擅长领域: 大数据数据库数据仓库

chailei_8306 最近回答过的问题

回答状态

  • 发布时间:2019-09-04
  • 关注会员:3 人
  • 回答浏览:1955
  • X社区推广