在两地三中心的架构下,收集和分析需要拆分来看,主要是出于几个方面考虑:
从以上三个维度考虑,建议的处理方式:
1,日志分析
建议采用实时分发联动的方式,可以参照Hadoop等分布式系统的系统任务调度设计策略,将对日志的分析结果诉求分发到三个中心,每个中心需要具备完整的日志分析功能,并将分析的结果汇总至某个中心机房,以供使用。具体实施工程中,可根据业务的诉求采用同步/半同步的方式。追求效率和成本的平衡。
2,日志收集
建议采用异步的方式,满足业务诉求的前提下,回避业务的带宽使用高峰,在业务带宽占用的低估时期,启动日志传输同步过程。如果传输速率可以根据带宽、业务的情况灵活调整,那就更好了。
1.明确日志系统建设的目标。
2.如果是三个中心的数据需要单独采集和分析,可以部署三套日志分析集群。这个是最简单最方便的场景。
3.如果是多地数据需要统一在某一个区域展示,在这里可以这样处理。
首先,数据采集各地的数据都写入到本地的集群,这样可以减轻网络带宽的需求,同时提高入库效率;
其次,在数据请求阶段,可以根据请求的不同数据,从各个地方的数据取数汇集,这样就可以保证在某个区域可以查询到全部的数据;
最后,如果对数据有高要求,建议把数据进行多副本或者备份处理,保证数据完整性。