如何设计链路日志的实时计算逻辑也是亟待解决的难题?

链路日志规模大,计算分析复杂,存储容量大。链路日志采集后,日志量成千倍增长,而业务决策、故障排查、扩缩容等都需要可靠且实时的计算能力,如何设计链路日志的实时计算逻辑也是亟待解决的难题。

参与10

3同行回答

ljosefljosef系统架构师某股份制银行
实时计算框架flink可以给出一定的参考,通过可扩展性的计算和模版化的规则引擎提供实时计算的能力。一种可参考的技术框架可以设计如下:beat->kafka->flink->alert             |           ES...显示全部

实时计算框架flink可以给出一定的参考,通过可扩展性的计算和模版化的规则引擎提供实时计算的能力。一种可参考的技术框架可以设计如下:
beat->kafka->flink->alert
             |
           ES

收起
银行 · 2021-03-20
浏览805
luxh08luxh08科技部门副总某互联网银行
通过日志采集的全链路追踪功能,本身就没有传统的网络旁路方式的APM实时性高,但还是可以通过采用高性能的日志分析平台、投入硬件配置来达到秒级的延时,对实时的交易监控还是可以接受的。...显示全部

通过日志采集的全链路追踪功能,本身就没有传统的网络旁路方式的APM实时性高,但还是可以通过采用高性能的日志分析平台、投入硬件配置来达到秒级的延时,对实时的交易监控还是可以接受的。

收起
银行 · 2021-03-18
浏览744

提问者

kappyy
信息分析/架构师某银行
擅长领域: 大数据大数据平台服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-03-12
  • 关注会员:4 人
  • 问题浏览:1561
  • 最近回答:2021-03-24
  • X社区推广