对于两地三中心的日志收集与分析如何进行处理?

对于两地三中心的日志收集与分析如何进行处理

4回答

曹贝曹贝  技术总监 , 某金融行业专家
yinxin王磊磊赞同了此回答
在两地三中心的架构下,收集和分析需要拆分来看,主要是出于几个方面考虑: 效率 —— 即分析结果的效率诉求,举个例子,分析结果用于展示及预警的及时性要求,这个取决于不同的业务场景; 成本 —— 考虑到日志的数据量较大,在两地三中心的架构下,尤其是异地的网络带宽成本必然是要考...显示全部

在两地三中心的架构下,收集和分析需要拆分来看,主要是出于几个方面考虑:

  • 效率 —— 即分析结果的效率诉求,举个例子,分析结果用于展示及预警的及时性要求,这个取决于不同的业务场景;
  • 成本 —— 考虑到日志的数据量较大,在两地三中心的架构下,尤其是异地的网络带宽成本必然是要考虑的重要因素之一
  • 可靠性 —— 如何解决数据传输中的损坏丢失及丢失可能性的问题

从以上三个维度考虑,建议的处理方式:

1,日志分析
建议采用实时分发联动的方式,可以参照Hadoop等分布式系统的系统任务调度设计策略,将对日志的分析结果诉求分发到三个中心,每个中心需要具备完整的日志分析功能,并将分析的结果汇总至某个中心机房,以供使用。具体实施工程中,可根据业务的诉求采用同步/半同步的方式。追求效率和成本的平衡。

2,日志收集
建议采用异步的方式,满足业务诉求的前提下,回避业务的带宽使用高峰,在业务带宽占用的低估时期,启动日志传输同步过程。如果传输速率可以根据带宽、业务的情况灵活调整,那就更好了。

收起
 2017-05-30
浏览1415
赵晓勇赵晓勇  项目经理 , 日志易
lxy赞同了此回答
1.明确日志系统建设的目标。2.如果是三个中心的数据需要单独采集和分析,可以部署三套日志分析集群。这个是最简单最方便的场景。3.如果是多地数据需要统一在某一个区域展示,在这里可以这样处理。   首先,数据采集各地的数据都写入到本地的集群,这样可以减轻网络带宽的需求...显示全部

1.明确日志系统建设的目标。
2.如果是三个中心的数据需要单独采集和分析,可以部署三套日志分析集群。这个是最简单最方便的场景。
3.如果是多地数据需要统一在某一个区域展示,在这里可以这样处理。
   首先,数据采集各地的数据都写入到本地的集群,这样可以减轻网络带宽的需求,同时提高入库效率;
其次,在数据请求阶段,可以根据请求的不同数据,从各个地方的数据取数汇集,这样就可以保证在某个区域可以查询到全部的数据;
最后,如果对数据有高要求,建议把数据进行多副本或者备份处理,保证数据完整性。

收起
 2019-09-25
浏览714
fengchongbiaofengchongbiao  咨询专家 , IBM
分布式部署-在某一个中心统一控制台管理和展现,把采集、解析、存储的软件部署在各个中心。控制台只需要关联分析的结果数据,无需把大量数据从其它中心拿上来。显示全部

分布式部署-在某一个中心统一控制台管理和展现,把采集、解析、存储的软件部署在各个中心。控制台只需要关联分析的结果数据,无需把大量数据从其它中心拿上来。

收起
 2017-05-25
浏览1355
杨XX杨XX  系统架构师 , 某银行
建议三中心各布置一套SIEM,其中一个作为核心,重要数据传输到核心SIEM分析,其他本地分析。带宽还是很贵的。显示全部

建议三中心各布置一套SIEM,其中一个作为核心,重要数据传输到核心SIEM分析,其他本地分析。带宽还是很贵的。

收起
 2017-05-24
浏览1289

提问者

rcwang安全工程师, 恒丰银行

日志分析平台选型优先顺序调研

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2017-05-23
  • 关注会员:5 人
  • 问题浏览:4355
  • 最近回答:2019-09-25