chailei_8306

    这其实是一个问题。传统数据仓库反映长时间的变化，最细区分粒度是以天为周期的。历史库只不过是将久远的，利用率低的数据单独剥离存放了。       实时数仓是为了对当前时刻的业务进行一系列统计，其初衷是为...

不建议在大数据平台替代传统数仓.可以把海量数据处理，如日志收集处理、历史库、数据挖掘计算等放在大数据平台。大数据平台处理结构化数据不是不可以，它的效率和运维成本比关系型数据库或列存储数据库差不少。...

如果必须实时跑批，也就是让后续的表能够实时变化。那么能想到的方案也就是用视图了。但这样就限制了实时数仓的规模。

1.实时采集方面       采用CDC技术能够比较好的保证数据的一致性，可以达到秒级同步。2.一致性检查方面       需要根据数据存储方式制定不同的检查规则并定期执行。       如流水表可以选择历史上完整的...

通常实时数据处理采用像 storm、flink、spark streaming 这些方式进行处理，然后存储到 hbase、hdfs 等地方。使用这些技术的特点是需要针对自己的情况开发程序，然后部署、调试、监控，非常复杂，也是一般企业比较难掌...

    目前CDC能获取比较准确的变化数据，ogg也可以，性价比比较高，无需改造交易。 在十年前用过消息队列方法，需要对交易进行改造，适合新建系统时考虑好。 配置SQL抽取比较依赖记录的维护时间戳，往往是不可靠的，不建议使...