基于互联网电商应用监控的动态阈值算法选型?

我们业务链路监控是基于日志的清洗,数据聚合,数据分析来达到目的。监控的指标有2W+,包括了耗时类的统计,如平均耗时,峰值耗时,成功率等指标。
每天单个接口的交互达到亿级别,所以清洗后的接口耗时也是亿级,在不考虑营销活动,大促场景的情况下,样本数据相对固定,时间也相对平缓,基于此类样本数据,我们可以通过聚类算法计算出数据趋势和动态阈值。如果遇到大级别营销活动,在活动预热时,会产生大量的毛刺数据,对数据的预测产生比较大的影响,请问下在这种场景下,有没有更好的算法来去除毛刺数据,或者计算毛刺数据的范围?

参与3

1同行回答

cherrylookcherrylook软件架构设计师中国人寿保险集团
可以将时间分段进行学习,例如将历史数据划分为常规数据和活动数据。对于预热时的毛刺数据,可以通过寻找离群点的一些方法,例如局部异常因子、孤立森林等先对数据进行分类标注,在做预测时将这部分数据剔除。...显示全部

可以将时间分段进行学习,例如将历史数据划分为常规数据和活动数据。对于预热时的毛刺数据,可以通过寻找离群点的一些方法,例如局部异常因子、孤立森林等先对数据进行分类标注,在做预测时将这部分数据剔除。

收起
保险 · 2019-04-17
浏览1999

提问者

顾黄亮
技术总监畅销书作者
擅长领域: 云计算数据库系统运维

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-04-17
  • 关注会员:2 人
  • 问题浏览:2724
  • 最近回答:2019-04-17
  • X社区推广