准实时数仓在关注时效性的同时,怎样确保的一致性和准确性?

准实时数仓在关注时效性的同时,怎样确保的一致性和准确性?实时数据采集工具可能在某些异常导致数据延迟,也可能在某些场景下获取的不是最终交易状。显示全部

准实时数仓在关注时效性的同时,怎样确保的一致性和准确性?实时数据采集工具可能在某些异常导致数据延迟,也可能在某些场景下获取的不是最终交易状。

收起
参与3

返回chailei_8306的回答

chailei_8306chailei_8306研发工程师城商行

1.实时采集方面
      采用CDC技术能够比较好的保证数据的一致性,可以达到秒级同步。
2.一致性检查方面
      需要根据数据存储方式制定不同的检查规则并定期执行。
      如流水表可以选择历史上完整的一天 筛查部分交易与源系统核验。

     状态表如果有类似双余额字段的,可以与源系统核验上日余额。无双余额的,类似客户表 账户表等,只能选择在系统中数据无变化时与源系统核验。

银行 · 2019-09-04
浏览1830

回答者

chailei_8306
研发工程师城商行
擅长领域: 大数据数据库数据仓库

chailei_8306 最近回答过的问题

回答状态

  • 发布时间:2019-09-04
  • 关注会员:2 人
  • 回答浏览:1830
  • X社区推广