准实时数仓在关注时效性的同时,怎样确保的一致性和准确性?

准实时数仓在关注时效性的同时,怎样确保的一致性和准确性?实时数据采集工具可能在某些异常导致数据延迟,也可能在某些场景下获取的不是最终交易状。

参与3

1同行回答

chailei_8306chailei_8306研发工程师城商行
1.实时采集方面       采用CDC技术能够比较好的保证数据的一致性,可以达到秒级同步。2.一致性检查方面       需要根据数据存储方式制定不同的检查规则并定期执行。       如流水表可以选择历史上完整的一天 筛查部分交易与源系统核验。 状态表如果有类...显示全部

1.实时采集方面
      采用CDC技术能够比较好的保证数据的一致性,可以达到秒级同步。
2.一致性检查方面
      需要根据数据存储方式制定不同的检查规则并定期执行。
      如流水表可以选择历史上完整的一天 筛查部分交易与源系统核验。

     状态表如果有类似双余额字段的,可以与源系统核验上日余额。无双余额的,类似客户表 账户表等,只能选择在系统中数据无变化时与源系统核验。

收起
银行 · 2019-09-04
浏览1832

提问者

jamiee
数据库架构师某股份制银行
擅长领域: 大数据实时数仓数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-08-27
  • 关注会员:2 人
  • 问题浏览:2601
  • 最近回答:2019-09-04
  • X社区推广