采取怎样的日志格式方便做结构化处理?

生产中应用模块打印大量的日志,仅仅用于故障排错,或者监控有些浪费,现在想对日志规范字段格式进行采集,结构化处理,并对部分数据做成可视化展示,比如部分键值对类型的日志字段。但是日志格式繁多,不知道该怎样规范一种通用格式,格式太多,不仅日志字段拆分困难而且消耗大量CPU,不知...显示全部

生产中应用模块打印大量的日志,仅仅用于故障排错,或者监控有些浪费,现在想对日志规范字段格式进行采集,结构化处理,并对部分数据做成可视化展示,比如部分键值对类型的日志字段。但是日志格式繁多,不知道该怎样规范一种通用格式,格式太多,不仅日志字段拆分困难而且消耗大量CPU,不知道同行都是怎么做的。

收起
参与16

查看其它 2 个回答dongxw的回答

dongxwdongxw项目经理BigdataLeader

作为某知名日志分析产品的交付项目经理来说 ,接触了各行各业、各种业务系统的各种日志格式,目前市面可见的基本上没有特别好的日志结构,作为日志分析厂家,我们的使命是对全行业日志格式规范化建言献策,我们也综合所有的项目经验和系统建设经验,输出了日志打印规范。
日志规范包括:(1)日志文件命名规范(2)日志存储规范(3)日志结构规范(4)日志级别定义规范等等
日志规范内容很多,简单的说一点,可以参考下:
日志记录格式可以采用JSON格式,日志记录格式可分为两种:
1、单一日志结构,适用于仅服务对象自身要素信息日志输出。
2、嵌套日志结构,适用于服务对象及其处理的数据对象要素信息日志输出。
2种日志格式均需要包含如下信息,作为Json结构顶层要素
timestamp、loglevel、logSN、serviceCode、event、status、message、extendinfo

除非有交易链路追踪、业务系统串联、故障根因分析等强需求,否则不建议在没有详细规划下便进行日志改造,不管如何改造,第一要素是不要影响业务;
PS:我们的产品叫日志易,欢迎来询

互联网服务 · 2020-04-12
浏览787

回答者

dongxw
项目经理BigdataLeader

回答状态

  • 发布时间:2020-04-12
  • 关注会员:5 人
  • 回答浏览:787
  • X社区推广