准实时数仓在关注时效性的同时,怎样确保的一致性和准确性?实时数据采集工具可能在某些异常导致数据延迟,也可能在某些场景下获取的不是最终交易状。
收起1.实时采集方面
采用CDC技术能够比较好的保证数据的一致性,可以达到秒级同步。
2.一致性检查方面
需要根据数据存储方式制定不同的检查规则并定期执行。
如流水表可以选择历史上完整的一天 筛查部分交易与源系统核验。
状态表如果有类似双余额字段的,可以与源系统核验上日余额。无双余额的,类似客户表 账户表等,只能选择在系统中数据无变化时与源系统核验。