我们业务链路监控是基于日志的清洗,数据聚合,数据分析来达到目的。监控的指标有2W+,包括了耗时类的统计,如平均耗时,峰值耗时,成功率等指标。
每天单个接口的交互达到亿级别,所以清洗后的接口耗时也是亿级,在不考虑营销活动,大促场景的情况下,样本数据相对固定,时间也相对平缓,基于此类样本数据,我们可以通过聚类算法计算出数据趋势和动态阈值。如果遇到大级别营销活动,在活动预热时,会产生大量的毛刺数据,对数据的预测产生比较大的影响,请问下在这种场景下,有没有更好的算法来去除毛刺数据,或者计算毛刺数据的范围?