如何设计链路日志的实时计算逻辑也是亟待解决的难题?

链路日志规模大,计算分析复杂,存储容量大。链路日志采集后,日志量成千倍增长,而业务决策、故障排查、扩缩容等都需要可靠且实时的计算能力,如何设计链路日志的实时计算逻辑也是亟待解决的难题。

参与10

3同行回答

yotta_beyondyotta_beyond技术总监日志易
链路日志在高采样率情况下,日志量可达TB/天以上,交易笔数多,分组统计大,如果全靠入库后再进行统计,对搜索引擎的压力会很大,建议考虑引入Flink流处理引擎,在日志ETL过程中就进行流式计算;但链路计算场景会比较较多,计算过程比较复杂,需要用到很多流式计算管道,所以可以考虑在Flink流...显示全部

链路日志在高采样率情况下,日志量可达TB/天以上,交易笔数多,分组统计大,如果全靠入库后再进行统计,对搜索引擎的压力会很大,建议考虑引入Flink流处理引擎,在日志ETL过程中就进行流式计算;但链路计算场景会比较较多,计算过程比较复杂,需要用到很多流式计算管道,所以可以考虑在Flink流处理引擎基础上增加可视化配置算子,降低运维人员的使用难度

收起
软件开发 · 2021-03-24
浏览813
ljosefljosef系统架构师某股份制银行
实时计算框架flink可以给出一定的参考,通过可扩展性的计算和模版化的规则引擎提供实时计算的能力。一种可参考的技术框架可以设计如下:beat->kafka->flink->alert             |           ES...显示全部

实时计算框架flink可以给出一定的参考,通过可扩展性的计算和模版化的规则引擎提供实时计算的能力。一种可参考的技术框架可以设计如下:
beat->kafka->flink->alert
             |
           ES

收起
银行 · 2021-03-20
浏览788
luxh08luxh08科技部门副总某互联网银行
通过日志采集的全链路追踪功能,本身就没有传统的网络旁路方式的APM实时性高,但还是可以通过采用高性能的日志分析平台、投入硬件配置来达到秒级的延时,对实时的交易监控还是可以接受的。...显示全部

通过日志采集的全链路追踪功能,本身就没有传统的网络旁路方式的APM实时性高,但还是可以通过采用高性能的日志分析平台、投入硬件配置来达到秒级的延时,对实时的交易监控还是可以接受的。

收起
银行 · 2021-03-18
浏览731

提问者

kappyy
信息分析/架构师某银行
擅长领域: 大数据大数据平台服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-03-12
  • 关注会员:4 人
  • 问题浏览:1538
  • 最近回答:2021-03-24
  • X社区推广