对于两地三中心的日志收集与分析如何进行处理?

对于两地三中心的日志收集与分析如何进行处理显示全部

对于两地三中心的日志收集与分析如何进行处理

收起
参与12

查看其它 3 个回答c08007的回答

c08007c08007技术总监某金融行业专家

在两地三中心的架构下,收集和分析需要拆分来看,主要是出于几个方面考虑:

  • 效率 —— 即分析结果的效率诉求,举个例子,分析结果用于展示及预警的及时性要求,这个取决于不同的业务场景;
  • 成本 —— 考虑到日志的数据量较大,在两地三中心的架构下,尤其是异地的网络带宽成本必然是要考虑的重要因素之一
  • 可靠性 —— 如何解决数据传输中的损坏丢失及丢失可能性的问题

从以上三个维度考虑,建议的处理方式:

1,日志分析
建议采用实时分发联动的方式,可以参照Hadoop等分布式系统的系统任务调度设计策略,将对日志的分析结果诉求分发到三个中心,每个中心需要具备完整的日志分析功能,并将分析的结果汇总至某个中心机房,以供使用。具体实施工程中,可根据业务的诉求采用同步/半同步的方式。追求效率和成本的平衡。

2,日志收集
建议采用异步的方式,满足业务诉求的前提下,回避业务的带宽使用高峰,在业务带宽占用的低估时期,启动日志传输同步过程。如果传输速率可以根据带宽、业务的情况灵活调整,那就更好了。

互联网服务 · 2017-05-30
浏览2637

回答者

c08007
技术总监某金融行业专家
擅长领域: 系统运维监控一体化监控

c08007 最近回答过的问题

回答状态

  • 发布时间:2017-05-30
  • 关注会员:5 人
  • 回答浏览:2637
  • X社区推广