对于多数据源的时间不一致的数据如何处理和分析?

监控数据采集和处理方面,一般采用怎么样的数据频率、模型训练的数据量和异常检测的数据量达到多少?对于多数据源的时间不一致的数据如何处理和分析?

参与11

2同行回答

pysx0503pysx0503  系统工程师 , 第十区。散人
对于时间tongue要求高的业务。一般都是自建NTP服务器来进行内部业务的时间同步。至于监控数据的采集具体就要看业务的重要性,数据采集所产生的数据量等多方面的因素去综合考虑了。我现有的业务监控对CPU 内存的资源差不多1--5分钟左右采集一次。硬盘则是20分钟左右或者更...显示全部

对于时间tongue要求高的业务。一般都是自建NTP服务器来进行内部业务的时间同步。至于监控数据的采集具体就要看业务的重要性,数据采集所产生的数据量等多方面的因素去综合考虑了。
我现有的业务监控对CPU 内存的资源差不多1--5分钟左右采集一次。硬盘则是20分钟左右或者更长。对于业务监控一般是一分钟或者30秒左右采集一次。因为我的业务量不大。频繁的业务检测也不会对业务造成太大的影响。

收起
系统集成 · 2019-04-17
浏览2113
cherrylookcherrylook  软件架构设计师 , 中国人寿保险集团
在数据采集的过程中,由于各个监控系统对系统日志、数据库日志和应用日志等采集的时间点和频率都不相同,针对各个监控系统的指标,我们按照较粗粒度的监控记录进行了时间段的划分,再将时间粒度较小的指标数据进行了汇总处理。模型训练的历史数据采用了近三个月的监控数据,采用当...显示全部

在数据采集的过程中,由于各个监控系统对系统日志、数据库日志和应用日志等采集的时间点和频率都不相同,针对各个监控系统的指标,我们按照较粗粒度的监控记录进行了时间段的划分,再将时间粒度较小的指标数据进行了汇总处理。模型训练的历史数据采用了近三个月的监控数据,采用当前时间点的数据通过模型判断是否为异常。

收起
保险 · 2019-04-17
浏览2204

问题来自

问题状态

  • 发布时间:2019-04-15
  • 关注会员:3 人
  • 问题浏览:3242
  • 最近回答:2019-04-17
  • X社区推广