对于两地三中心的日志收集与分析如何进行处理
收起在两地三中心的架构下,收集和分析需要拆分来看,主要是出于几个方面考虑:
从以上三个维度考虑,建议的处理方式:
1,日志分析
建议采用实时分发联动的方式,可以参照Hadoop等分布式系统的系统任务调度设计策略,将对日志的分析结果诉求分发到三个中心,每个中心需要具备完整的日志分析功能,并将分析的结果汇总至某个中心机房,以供使用。具体实施工程中,可根据业务的诉求采用同步/半同步的方式。追求效率和成本的平衡。
2,日志收集
建议采用异步的方式,满足业务诉求的前提下,回避业务的带宽使用高峰,在业务带宽占用的低估时期,启动日志传输同步过程。如果传输速率可以根据带宽、业务的情况灵活调整,那就更好了。