链路日志在高采样率情况下，日志量可达TB/天以上，交易笔数多，分组统计大，如果全靠入库后再进行统计，对搜索引擎的压力会很大，建议考虑引入Flink流处理引擎，在日志ETL过程中就进行流式计算；但链路计算场景会比较较多，计算过程比较复杂，需要用到很多流式计算管道，所以可以考虑在Flink流...

SparkStreaming和Strom都属于实时计算框架，有点都是可以做到对数据的实时处理。SparkStreaming是基于Spark Core实现的，所以对数据的处理要形成RDD，暨要形成数据窗口，所以其处理过程可以称之为微批处理，而storm是可以做到实时处理每一条数据的，所以相对来说，实时性比sparkstream...

Spark Streaming就好比商场的直梯，是有时间窗口和分批次的准实时计算Storm就好比商场的扶梯，不分任何窗口和批次，对源源不断的数据进行实时计算Spark主要是基于内存的计算，适合迭代式的计算Storm实际应用过程中比Spark耗费内存严重...

大数据量主要是横向扩展，这里对mysql和mongo做简单的介绍mysql：原生的fabric/cluster（优点原生，缺点听说还不太稳定）第三方的中间件，mycat,oneproxy等等（没有具体了解，原理上就是分库分表）mongodb:原生的sharding（优点，原生支持，使用了很久，比较稳定。缺点，管理略复杂，需要合理的shard k...