监控数据采集和处理方面,一般采用怎么样的数据频率、模型训练的数据量和异常检测的数据量达到多少?对于多数据源的时间不一致的数据如何处理和分析?
对于时间tongue要求高的业务。一般都是自建NTP服务器来进行内部业务的时间同步。至于监控数据的采集具体就要看业务的重要性,数据采集所产生的数据量等多方面的因素去综合考虑了。
我现有的业务监控对CPU 内存的资源差不多1--5分钟左右采集一次。硬盘则是20分钟左右或者更长。对于业务监控一般是一分钟或者30秒左右采集一次。因为我的业务量不大。频繁的业务检测也不会对业务造成太大的影响。