一体化监控是否能够趋势分析

监控本身是事后性,但是长期事后分析,是否可以进行趋势分析,提前预测硬件宕机情况?应用宕机等情况?

参与20

5同行回答

c08007c08007技术总监某金融行业专家
趋势分析是利用已有数据寻找某种统计指标的内在规律性,从而得到较为准确的指标未来预测值。对于监控系统来说,趋势分析即利用历史指标值对未来指标值进行计算,操作人员关心的是未来的指标值是否会越界(发生违例),以便在可能发生违例前对系统进行预先处理,提高系统的可用性。采用...显示全部

趋势分析是利用已有数据寻找某种统计指标的内在规律性,从而得到较为准确的指标未来预测值。对于监控系统来说,趋势分析即利用历史指标值对未来指标值进行计算,操作人员关心的是未来的指标值是否会越界(发生违例),以便在可能发生违例前对系统进行预先处理,提高系统的可用性。

采用大数据分析,可以支持业务的趋势监控,即可以根据历史数据情况,对未来的故障可能进行预警。例如:针对存储设备的运行情况分析,预知其故障的可能性,从而提前预警,维护人员可快速接入处理。

常见的趋势分析方法如下:

1,采用线性回归算法分析平稳的趋势

2,采用指数性回归算法分析变化剧烈的趋势

3,采用三角函数算法分析周期性趋势变化

除了分析算法,也需要完善的分析平台和存储平台的支持,例如常见的基于 storm + hbase的分析平台等。

收起
互联网服务 · 2016-06-29
浏览1931
qq373793057qq373793057课题专家组系统工程师某银行
监控系统中也是可以通过日志分析,提前预判出设备运行隐患;打个比方,通过网络设备的端口CRC和error就可以预判出链路的质量是否会有问题,可以在链路告警前提前处理,存储设备中的日志也可以在阵列中硬盘发生故障告警的前一两天左右就展现出来的,可以提前更换硬盘;主机中提前预测的...显示全部

监控系统中也是可以通过日志分析,提前预判出设备运行隐患;打个比方,通过网络设备的端口CRC和error就可以预判出链路的质量是否会有问题,可以在链路告警前提前处理,存储设备中的日志也可以在阵列中硬盘发生故障告警的前一两天左右就展现出来的,可以提前更换硬盘;主机中提前预测的方式就更多了,CPU繁忙,内存换页等等。

只不过,这些日志不一定能够满足我们监控系统中预先设定好的告警阈值,所以才会给用户感觉监控系统本身存在事后性的特点。

收起
银行 · 2016-06-29
浏览1865
c08007c08007技术总监某金融行业专家
1,日志收集:ELK可以做,集成整体的收集、存储和检索,都是支持该功能的;或者使用flume + scribe + hadoop来实现; 推荐ELK,支持完善的API接口。2,内部服务接口暴露: RESTFUL接口; etcd;zookeepr等...显示全部

1,日志收集:ELK可以做,集成整体的收集、存储和检索,都是支持该功能的;或者使用flume + scribe + hadoop来实现; 推荐ELK,支持完善的API接口。

2,内部服务接口暴露: RESTFUL接口; etcd;zookeepr等

收起
互联网服务 · 2016-06-29
浏览1939
zhoujia8218zhoujia8218系统运维工程师浙商银行
介绍一个小工具,hostmonitor,功能很多!最初我们用在网络监控,现在很多进程、性能级的监控都跑在这工具上。显示全部

介绍一个小工具,hostmonitor,功能很多!最初我们用在网络监控,现在很多进程、性能级的监控都跑在这工具上。

收起
银行 · 2016-06-29
浏览1767
yujin2010goodyujin2010good系统工程师大型零售巨头
楼上大师给的的却是个方法,但是我感觉作为运维人员对各种算法可能比较陌生,能否有具体简单的工具或者说是方法来说明清楚。比如elk等log收集工具,用他来收集log然后可否进行分析等等。...显示全部

楼上大师给的的却是个方法,但是我感觉作为运维人员对各种算法可能比较陌生,能否有具体简单的工具或者说是方法来说明清楚。比如elk等log收集工具,用他来收集log然后可否进行分析等等。

收起
互联网服务 · 2016-06-29
浏览1846
  • elasticsearch2.x有提供pipeline aggregation API,对应在kibana里有一个timelion app。可以对时序数列做forecast。
    2016-06-29

提问者

yujin2010good
系统工程师大型零售巨头
擅长领域: 云计算服务器存储

问题来自

相关问题

相关资料

问题状态

  • 发布时间:2016-06-28
  • 关注会员:5 人
  • 问题浏览:6917
  • 最近回答:2016-06-29
  • X社区推广