日志存储与分析挖掘这一块是如何设计实现的?能否分享一下经验得失?谢谢!?

你好!      在企业云中台建设过程中,针对日志的收集存储、分析、处理、挖掘这一块有什么好的经验分享?针对这一部分的架构设计大概是什么样的?如何实现的,有没有一些值得分享的得与失?谢谢...显示全部

你好!
      在企业云中台建设过程中,针对日志的收集存储、分析、处理、挖掘这一块有什么好的经验分享?针对这一部分的架构设计大概是什么样的?如何实现的,有没有一些值得分享的得与失?
谢谢

收起
参与3

返回lsy1990的回答

lsy1990lsy1990Engineerhisense

我们制定了统一的日志输出标准,让云上日志统一输出到stdout,我们通过fluentd实现日志收集,日志数据先入kafka,然后通过logstash清洗处理后,送到ES存储落地,同时通过flink 消费清洗后的Error日志,实现符合预定规则的异常告警,用户可以使用kibana进行初级的日志查询与挖掘分析。

软件开发 · 2021-01-26
浏览986

回答者

lsy1990
Engineerhisense
擅长领域: 云计算容器容器云

lsy1990 最近回答过的问题

回答状态

  • 发布时间:2021-01-26
  • 关注会员:2 人
  • 回答浏览:986
  • X社区推广