gengyang

目前实时数仓都是在探索阶段，不像传统数仓那样硬件软件是一体的。一般普通的pc服务器就够了。

已有类似问题，请参考相关回答：http://www.talkwithtrend.com/Question/427983

有一个类似问题，建议浏览下其他问题找找

肯定要用类似streaming或flink这样的流处理组件而不是跑批。具体可以两种实现方案，一是cdc的目标不要设置为数据库而是设置为kafka，然后对接kafka或者flink，这种比较容易；二是目标为数据库，然后自己写程序实现轮训，这种比较...

日志不规范用es检索也只能模糊匹配，响应时间就不好说了。所以看你的需求，如果仅仅用于日志拍错，那es帮你处理了（就是模糊匹配），如果你需要精确也需要规范化...

这个问题比较大，现在很多银行包括互联网公司也都是在探索阶段。关于背景其实没必要多说什么，现在对多种场景对数据的时效性要求都越来越高，从系统监控到实时营销，从内部管理到监管报送等诸多场景都要求建设实时数仓。传统...

既然是需要实时接入的数据应用场景也都是对实效性要求较高，再考虑的可用性和负载要求所以对实时中间数据最好用类似kafka这样的分布式消息中间件，对于加工后的结果数据可以放到mysql hbase，redis，hbase，redis或者hbase，redi...

因为日志格式的不统一造成分析难度较大，需要针对每种格式硬编码实现加工逻辑。可以从日志规范上着手简化加工，给源系统指定日志打印规范，然后一次开发针对不同系统的关注指标进行差异化配置实现多次服用。...

storm sparksteaming flink 目前用的比较多的应该是sparkstreaming，但flink有后来者居上的形式。

1，关于建模首先传统数仓的建模已经很成熟，而实时数仓才刚刚起步处于探索阶段，如果盲目效仿传统数仓，可能会因为复杂度过高而阻碍探索的步伐。我个人认为实时数仓的建模应该根据实际应用场景尽量简化，在实际应用的探索过程...