日志存储与分析挖掘这一块是如何设计实现的?能否分享一下经验得失?谢谢!?

你好!
      在企业云中台建设过程中,针对日志的收集存储、分析、处理、挖掘这一块有什么好的经验分享?针对这一部分的架构设计大概是什么样的?如何实现的,有没有一些值得分享的得与失?
谢谢

参与3

1同行回答

lsy1990lsy1990Engineerhisense
我们制定了统一的日志输出标准,让云上日志统一输出到stdout,我们通过fluentd实现日志收集,日志数据先入kafka,然后通过logstash清洗处理后,送到ES存储落地,同时通过flink 消费清洗后的Error日志,实现符合预定规则的异常告警,用户可以使用kibana进行初级的日志查询与挖掘分析。...显示全部

我们制定了统一的日志输出标准,让云上日志统一输出到stdout,我们通过fluentd实现日志收集,日志数据先入kafka,然后通过logstash清洗处理后,送到ES存储落地,同时通过flink 消费清洗后的Error日志,实现符合预定规则的异常告警,用户可以使用kibana进行初级的日志查询与挖掘分析。

收起
软件开发 · 2021-01-26
浏览948

提问者

study123
系统架构师ERICSSON
擅长领域: 数据库服务器数据库迁移

问题来自

相关资料

相关文章

问题状态

  • 发布时间:2021-01-24
  • 关注会员:2 人
  • 问题浏览:1317
  • 最近回答:2021-01-26
  • X社区推广