如何设计链路日志的实时计算逻辑也是亟待解决的难题?

链路日志规模大,计算分析复杂,存储容量大。链路日志采集后,日志量成千倍增长,而业务决策、故障排查、扩缩容等都需要可靠且实时的计算能力,如何设计链路日志的实时计算逻辑也是亟待解决的难题。...显示全部

链路日志规模大,计算分析复杂,存储容量大。链路日志采集后,日志量成千倍增长,而业务决策、故障排查、扩缩容等都需要可靠且实时的计算能力,如何设计链路日志的实时计算逻辑也是亟待解决的难题。

收起
参与10

查看其它 2 个回答yotta_beyond的回答

yotta_beyondyotta_beyond技术总监日志易

链路日志在高采样率情况下,日志量可达TB/天以上,交易笔数多,分组统计大,如果全靠入库后再进行统计,对搜索引擎的压力会很大,建议考虑引入Flink流处理引擎,在日志ETL过程中就进行流式计算;但链路计算场景会比较较多,计算过程比较复杂,需要用到很多流式计算管道,所以可以考虑在Flink流处理引擎基础上增加可视化配置算子,降低运维人员的使用难度

软件开发 · 2021-03-24
浏览824

回答者

yotta_beyond
技术总监日志易
擅长领域: 日志分析系统运维云计算

yotta_beyond 最近回答过的问题

回答状态

  • 发布时间:2021-03-24
  • 关注会员:4 人
  • 回答浏览:824
  • X社区推广