准实时数据仓库数据采集和清洗的方式或工具有哪些?

离线数据处理基于批次进行数据采集,无法满足准实时数据仓库的业务场景,准实时数据仓库数据采集和清洗的方式或工具有哪些(是否有真实的实现场景可分享)?

参与6

2同行回答

chailei_8306chailei_8306  研发工程师 , 城商行
    目前CDC能获取比较准确的变化数据,ogg也可以,性价比比较高,无需改造交易。 在十年前用过消息队列方法,需要对交易进行改造,适合新建系统时考虑好。 配置SQL抽取比较依赖记录的维护时间戳,往往是不可靠的,不建议使用。...显示全部

    目前CDC能获取比较准确的变化数据,ogg也可以,性价比比较高,无需改造交易。

  在十年前用过消息队列方法,需要对交易进行改造,适合新建系统时考虑好。
  配置SQL抽取比较依赖记录的维护时间戳,往往是不可靠的,不建议使用。
收起
银行 · 2019-09-04
浏览1941
王奇王奇  项目经理 , 阜新银行
数据采集只有二种工具 OGG,CDC显示全部

数据采集只有二种工具 OGG,CDC

收起
银行 · 2019-08-29
浏览1809

提问者

jamiee
数据库架构师某股份制银行
擅长领域: 大数据实时数仓数据库

问题来自

相关问题

相关资料

问题状态

  • 发布时间:2019-08-27
  • 关注会员:3 人
  • 问题浏览:2978
  • 最近回答:2019-09-04
  • X社区推广