趋势分析是利用已有数据寻找某种统计指标的内在规律性,从而得到较为准确的指标未来预测值。对于监控系统来说,趋势分析即利用历史指标值对未来指标值进行计算,操作人员关心的是未来的指标值是否会越界(发生违例),以便在可能发生违例前对系统进行预先处理,提高系统的可用性。
采用大数据分析,可以支持业务的趋势监控,即可以根据历史数据情况,对未来的故障可能进行预警。例如:针对存储设备的运行情况分析,预知其故障的可能性,从而提前预警,维护人员可快速接入处理。
常见的趋势分析方法如下:
1,采用线性回归算法分析平稳的趋势
2,采用指数性回归算法分析变化剧烈的趋势
3,采用三角函数算法分析周期性趋势变化
除了分析算法,也需要完善的分析平台和存储平台的支持,例如常见的基于 storm + hbase的分析平台等。
收起监控系统中也是可以通过日志分析,提前预判出设备运行隐患;打个比方,通过网络设备的端口CRC和error就可以预判出链路的质量是否会有问题,可以在链路告警前提前处理,存储设备中的日志也可以在阵列中硬盘发生故障告警的前一两天左右就展现出来的,可以提前更换硬盘;主机中提前预测的方式就更多了,CPU繁忙,内存换页等等。
只不过,这些日志不一定能够满足我们监控系统中预先设定好的告警阈值,所以才会给用户感觉监控系统本身存在事后性的特点。
收起1,日志收集:ELK可以做,集成整体的收集、存储和检索,都是支持该功能的;或者使用flume + scribe + hadoop来实现; 推荐ELK,支持完善的API接口。
2,内部服务接口暴露: RESTFUL接口; etcd;zookeepr等
收起