链路日志规模大,计算分析复杂,存储容量大。链路日志采集后,日志量成千倍增长,而业务决策、故障排查、扩缩容等都需要可靠且实时的计算能力,如何设计链路日志的实时计算逻辑也是亟待解决的难题。
链路日志在高采样率情况下,日志量可达TB/天以上,交易笔数多,分组统计大,如果全靠入库后再进行统计,对搜索引擎的压力会很大,建议考虑引入Flink流处理引擎,在日志ETL过程中就进行流式计算;但链路计算场景会比较较多,计算过程比较复杂,需要用到很多流式计算管道,所以可以考虑在Flink流处理引擎基础上增加可视化配置算子,降低运维人员的使用难度
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30