采取怎样的日志格式方便做结构化处理?

生产中应用模块打印大量的日志,仅仅用于故障排错,或者监控有些浪费,现在想对日志规范字段格式进行采集,结构化处理,并对部分数据做成可视化展示,比如部分键值对类型的日志字段。但是日志格式繁多,不知道该怎样规范一种通用格式,格式太多,不仅日志字段拆分困难而且消耗大量CPU,不知道同行都是怎么做的。

参与16

3同行回答

pysx0503pysx0503系统工程师第十区。散人
今年为了等保合规我们买了日志审计来实现这些功能。以前也自己做过简单的日志服务器。不过要想对各种各样的日志进行规范还是比较复杂的。如果只是做技术研究。你可以自试试。否则我觉得并不值得去自己研发产品来对复杂的日志进行采集和分析。...显示全部

今年为了等保合规我们买了日志审计来实现这些功能。
以前也自己做过简单的日志服务器。不过要想对各种各样的日志进行规范还是比较复杂的。如果只是做技术研究。你可以自试试。否则我觉得并不值得去自己研发产品来对复杂的日志进行采集和分析。

收起
系统集成 · 2020-04-03
浏览851
dongxwdongxw项目经理BigdataLeader
作为某知名日志分析产品的交付项目经理来说 ,接触了各行各业、各种业务系统的各种日志格式,目前市面可见的基本上没有特别好的日志结构,作为日志分析厂家,我们的使命是对全行业日志格式规范化建言献策,我们也综合所有的项目经验和系统建设经验,输出了日志打印规范。日志规范包...显示全部

作为某知名日志分析产品的交付项目经理来说 ,接触了各行各业、各种业务系统的各种日志格式,目前市面可见的基本上没有特别好的日志结构,作为日志分析厂家,我们的使命是对全行业日志格式规范化建言献策,我们也综合所有的项目经验和系统建设经验,输出了日志打印规范。
日志规范包括:(1)日志文件命名规范(2)日志存储规范(3)日志结构规范(4)日志级别定义规范等等
日志规范内容很多,简单的说一点,可以参考下:
日志记录格式可以采用JSON格式,日志记录格式可分为两种:
1、单一日志结构,适用于仅服务对象自身要素信息日志输出。
2、嵌套日志结构,适用于服务对象及其处理的数据对象要素信息日志输出。
2种日志格式均需要包含如下信息,作为Json结构顶层要素
timestamp、loglevel、logSN、serviceCode、event、status、message、extendinfo

除非有交易链路追踪、业务系统串联、故障根因分析等强需求,否则不建议在没有详细规划下便进行日志改造,不管如何改造,第一要素是不要影响业务;
PS:我们的产品叫日志易,欢迎来询

收起
互联网服务 · 2020-04-12
浏览788
花花世界花花世界系统架构师小太阳
Json格式会好处理一点吧?显示全部

Json格式会好处理一点吧?

收起
互联网服务 · 2020-04-04
浏览753

提问者

collar
系统运维工程师浪潮

问题状态

  • 发布时间:2020-04-03
  • 关注会员:5 人
  • 问题浏览:1772
  • 最近回答:2020-04-12
  • X社区推广