多种开发语言应用难以制定统一日志采集标准,对于业务日志采集和分析都带来了挑战?

异构技术栈,日志采集标准化程度不高。以Cobol、C、Java、JavaScript等各种开发语言为基础的业务应用难以制订统一的日志采集标准,对于业务日志采集和分析都带来了挑战。听听同行专家的一些建议和实施方案

参与11

3同行回答

ljosefljosef系统架构师某股份制银行
我们的做法是在业务层定义一致的描述,在组织内推广,在实现上基于不同的方式实现,譬如C应用会自己输出日志,而Java应用更多采用无侵入的方案,如skywalking进行字节流的采集。显示全部

我们的做法是在业务层定义一致的描述,在组织内推广,在实现上基于不同的方式实现,譬如C应用会自己输出日志,而Java应用更多采用无侵入的方案,如skywalking进行字节流的采集。

收起
银行 · 2021-03-20
浏览1010
chenrynchenryn产品总监日志易
在环境内存在大量已有系统的前提下,强制完全一致的日志标准确实是不现实的。通常来说只能要求应用研发方面做到至少覆盖基础数据,采集方面做到对齐元数据,然后通过引入更高级的事后分析手段,来达到类似效果。采集元数据,比如来源 IP、归属应用、软件路径和依赖等。基础数据,比...显示全部

在环境内存在大量已有系统的前提下,强制完全一致的日志标准确实是不现实的。通常来说只能要求应用研发方面做到至少覆盖基础数据,采集方面做到对齐元数据,然后通过引入更高级的事后分析手段,来达到类似效果。

采集元数据,比如来源 IP、归属应用、软件路径和依赖等。基础数据,比如时间戳、日志级别、线程号、流水号等。facebook 在 2016 年曾经公开过一种方法,结合时移补全技术和剪枝推理算法,在只有流水号的大规模系统上近似的推导链路拓扑关系图。万不得已的情况下,可以作为一种参考。

收起
软件开发 · 2021-03-24
浏览1032
匿名用户匿名用户
1.主要是统一日志输出格式,例如统一输出成  json / csv / txt ,如果有些开发语言没有提供这样的工具,可以自己开发,或者按照现成格式输出再转化到统一的格式。个人感觉这个挑战不是很大,尤其是都是自研的时候。2.在哪些地方输出日志,以个人经验主要是 1. 关键流程跟踪...显示全部

1.主要是统一日志输出格式,例如统一输出成  json / csv / txt ,如果有些开发语言没有提供这样的工具,可以自己开发,或者按照现成格式输出再转化到统一的格式。个人感觉这个挑战不是很大,尤其是都是自研的时候。
2.在哪些地方输出日志,以个人经验主要是 1. 关键流程跟踪 2. 关键数据跟踪 3. 接口和接口调用处

收起
硬件生产 · 2021-03-18
浏览959

提问者

kappyy
信息分析/架构师某银行
擅长领域: 大数据大数据平台服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2021-03-12
  • 关注会员:4 人
  • 问题浏览:1805
  • 最近回答:2021-03-24
  • X社区推广