Xgboost是GBDT的优化,在对有标签指标的模型训练中,我们通过Xgboost算法得到的训练结果相比于其他算法是最优的。
非量化的数据可以利用起来,可以先量化处理,将非量化数据转变为哑变量,通过特诊工程再带入到模型中进行训练。
整个故障分析采用的数据范围很广,有运行监控数据,应用日志数据,交易数据,网络安全,数据库日志等。涉及的算法范围也很广,如时间序列算法,孤立森林、聚类算法等。训练有基于历史的故障数据,以及专家对疑似故障数据的分析判断。
算法本身与数据是如何存储的并无直接关系,基于分布式存储的大数据平台正是机器学习、智能运维分析的奠基石,大量、丰富、有效的数据为算法分析提供了分析的可能。磁盘故障的分析需要首先观察磁盘历史数据的趋势及分布,选
需要结合具体应用场景进行该问题的探讨。比如容量的智能预警,是基于数据库表空间大小、数据文件大小等原始数据信息的历史记录进行分析,找到原始原始数据的趋势和告警阈值,再选用合适的算法进行建模实现预警。
在系统升级或版本变更的时候会出现误报的情况,通过屏蔽变更时段的告警可以有效的降低误报率。
通过业务数据、运维数据均可以做异常检测与告警、根因定位和容量预测等;对于重要性较高的系统,需要人工干预进行二次审核,对于重要性一般的,可以自动化联动。可以参考文章http://kns.cnki.net/KCMS/detail/detail.aspx?db
在初期阶段,对于未标注的数据,我们通过无监督学习算法对疑似异常数据进行识别,并将结果反馈给运维专家进行二次经验判定,来调整告警的准确性。在长期的项目中,将专家在日常运维中发现的异常数据纳入标注的数据池中,通过有监
除了智能运维,涉及业务的还有团险定价、险种推荐、智能核保和反欺诈等。可以参考文章http://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFR&dbname=CJFDLAST2018&filename=ZBXG201802009&v=MTUxMzk4Z
直接采用机器学习来调整系统或数据库参数,特别是对重要的系统或数据库来说仍存在较大的风险,可以通过这个来给出一些建议性的指标,例如对表空间进行容量预测并向数据库专家发送扩容建议。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30