银行业微服务+容器云等环境下如何进行全链路日志分析探讨 - twt企业IT交流平台 - talkwithtrend，企业IT技术社区，帮助您融入同行！

银行业微服务+容器云等环境下如何进行全链路日志分析探讨

: luxh08科技部门副总某互联网银行
开源技术爱好者
关注12
个人主页
Ta的精彩回答
金融行业应该如何选择一个强大的统一日志平台作为技术底座？
日志平台是企业的IT技术基础底座，后续的微服务治理、智能化运维等工作的基础平台，大部分...4赞同
日志报文改造规范如何有效制定？
我们单位是根据google的dapper规范按照自身的特点进行了字段的制定，包括链路追踪的基本...4赞同
应用日志报文格式改造的成本难点如何控制？
新建的项目可以要求遵循日志规范进行开发，对存量的应用，为了减少项目开发改造成本和全链...2赞同
在银行信息系统中，应该如何选择日志分析道路？
我们的规划路径是，首先要制定统一的日志规范和标准，需要考虑的因素非常多，比如有应用需求...3赞同
银行日志分析场景？
日志的价值目前在大部分银行没有很好的发挥作用，作为获取业务和应用最好的数据源，日志分...2赞同
全链路如何扩大跟踪覆盖面？
全链路实现的方法有三方插件探针或者通过日志报文的改造两种方式，只能覆盖服务之间的调...3赞同
如何实现跨ESB链路跟踪？
全链路追踪和ESB本身不发生冲突，可以两种实施方案，第一种可以将ESB作为链路本身的一个节...7赞同
跨容器实现链路跟踪？
我补充下，还有一种方式是通过应用日志的改造，不用三方探针，和底层环境无任何依赖。...1赞同
金融企业存量系统运行多样复杂环境中，如何实施全链路日志监控？
根据我行经验，日志报文规划和标准要尽早制定，在项目需求和开发阶段就把日志规范要求下去...3赞同
如何设计链路日志的实时计算逻辑也是亟待解决的难题？
通过日志采集的全链路追踪功能，本身就没有传统的网络旁路方式的APM实时性高，但还是可以...0赞同
银行统一日志平台建设建设思路？
日志平台本身并不重要，在早期日志量不大的时候可以采用elk开源框架搭建，日志量达到一定...1赞同
全链路日志发起端如何判定，异步非实时交易能否跟踪？
第三方交互的情况下，如果和三方实现端到端的全链路监控非常困难，业务场景的全链路需要将...3赞同
全链路日志中tracertid如何生成？
tracertid是业务的全局流水号，由前端渠道应用形成，并且将tracertid进行下传到后端应用，业...3赞同
如何完整的获取到完整的日志？
其他银行不清楚，但是我们是采用纯应用日志方式实现的全链路，和网络流量没有任何关系，其他...2赞同
如何降低多语言日志客户端的研发和维护成本？
我们采用的纯日志方式实现的全链路，制定全行统一的日志的规范和标准非常重要，对日志的输...0赞同
针对日志全链路追踪，是否有必要将公司现有日志体系对接到行业标准，若是，如何对接？
根据我们的经验，日志的规范和标准要乘早制定，不管是基于日志的告警分析、全链路追踪、或...3赞同
针对容器（部分模块使用容器），需要如何做到链路追踪？
链路追踪不管是通过日志报文方式还是三方探针方式，对底层的技术平台没有任何关系，容器内...2赞同
对日志格式和日志输出规范有何要求？
日志输出必须能够提供以下几点信息，1、（Traceid）交易的全局唯一流水号，需要全链路透传。2...2赞同
日志分析平台性能方面问题应该从哪些方面予以解决？
根据我行的实施经验，主要从以下三个方面，给出一些拙见，首先是要优化日志分析的协议，我们最...4赞同
日志采集后是否需要在elk之外引入其它的数据分析工具？
elk是日志平台的标准架构，能够满足基本的采集、传输和分析，如果有其他的需求可能需要其...0赞同
对于没有统一规则的日志尤其是外购产品的日志，如何有效进行关联查询分析？
日志的规则和标准和日志平台产品本身没有任何关系，日志的采集信息是通过应用改造实现的...2赞同
在没有全局流水号的情况下，如何自动发现关联，实现日志全链路分析？
没有全局流水号，没办法将业务场景进行串联，关联不了业务交易，不管是基于日志方式还是三方...0赞同

: yotta_beyond技术总监日志易
关注4
个人主页
Ta的精彩回答
日志报文改造规范如何有效制定？
可以参考zipkin，skywalking的日志输出格式，因为是json格式，后续扩展起来也比较方便。日志...1赞同
应用日志报文格式改造的成本难点如何控制？
应用日志改造或者业务链追踪是未来必须经历的一个阶段，需要做好长期作战的准备，必须迈出...1赞同
银行日志分析场景？
银行日志分析场景就非常多了：1.故障快速溯源：免登录到后台服务器查询日志，在日志平台上实...2赞同
全链路如何扩大跟踪覆盖面？
对于应用层，各应用模块可以通过链路追踪方式进行端到端串联对于逻辑层（数据库，中间件），物理...2赞同
如何实现跨ESB链路跟踪？
如果跨ESB的模块在没有改造前提下，缺少全局流水号，是比较难做单笔交易串联的，这时候我们...1赞同
如何设计链路日志的实时计算逻辑也是亟待解决的难题？
链路日志在高采样率情况下，日志量可达TB/天以上，交易笔数多，分组统计大，如果全靠入库后再...2赞同
银行统一日志平台建设建设思路？
1.首先要满足日志留存的合规要求，这就要求日志平台能兼容各种数据源的采集，包括虚拟机、...1赞同
如何完整的获取到完整的日志？
在云和容器化的架构下，流量采集方式必然会遇到问题里面提到的抓包问题，通过日志采集是...2赞同
如何降低多语言日志客户端的研发和维护成本？
目前在linux，windows，容器，arm 架构等前提环境情况下go 语言开发的agent 基本够用的...1赞同
针对日志全链路追踪，是否有必要将公司现有日志体系对接到行业标准，若是，如何对接？
全链路日志一般可以参考dapper，基于skywalking或者zipkin进行改造，改造后会单独输出一份...1赞同
针对容器（部分模块使用容器），需要如何做到链路追踪？
容器日志有专门容器采集解决方案，当把容器日志采集到日志平台后，后续的链路追踪分析就跟...1赞同
对日志格式和日志输出规范有何要求？
建议采用json格式输出，便于扩展，统一时间戳和日志等级；traceid，parentid，spanid可以实现单...1赞同
日志分析平台性能方面问题应该从哪些方面予以解决？
1.采集速度，采集端的性能消耗，采集端对采集文件大小，采集文件数量的可控性2.ETL日志清洗...1赞同
日志采集后是否需要在elk之外引入其它的数据分析工具？
1.日志采集后需要考虑海量数据留存问题，这涉及到日志压缩，日志裁剪，不同日志保存不同时间...1赞同
在没有全局流水号的情况下，如何自动发现关联，实现日志全链路分析？
这是一个难度很大的问题了，我们曾经尝试过几种场景：1.如果是ESB架构的，因为每个模块的接...1赞同

: ljosef系统架构师某股份制银行
关注49
个人主页
Ta的精彩回答
日志报文改造规范如何有效制定？
我们目前对于链路日志主要围绕Java非侵入式应用进行，agent会处理全局traceid，segmentid...1赞同
在银行信息系统中，应该如何选择日志分析道路？
个人认为日志作为核心的数据能力，应集中存储。而日志平台作为解决问题的技术能力，应再多...3赞同
跨容器实现链路跟踪？
网路链路和服务链路作为两种不同视角的链路能力，可以优先考虑网络链路能力的构建，在自主...1赞同
如何设计链路日志的实时计算逻辑也是亟待解决的难题？
实时计算框架flink可以给出一定的参考，通过可扩展性的计算和模版化的规则引擎提供实时...1赞同
多种开发语言应用难以制定统一日志采集标准，对于业务日志采集和分析都带来了挑战？
我们的做法是在业务层定义一致的描述，在组织内推广，在实现上基于不同的方式实现，譬如C应...2赞同
如何完整的获取到完整的日志？
建议评估高并发负载的场景，形成完成的测试数据。我们目前采用了Javaagent对Java应用进...2赞同
如何降低多语言日志客户端的研发和维护成本？
建议还是从业务需求方分析具体的使用场景，从技术上合并或者排除非必要的日志客户端工具...1赞同
日志采集后是否需要在elk之外引入其它的数据分析工具？
具体工具的建设通用的标准还是用户，有用户基础就可以考虑独立的工具支持，譬如平台管理员...0赞同

: 秋名山车神项目经理日志易
关注2
个人主页
Ta的精彩回答
金融行业应该如何选择一个强大的统一日志平台作为技术底座？
1.性能方面：第一要考虑到采集端agent的性能（既要保证对服务器cpu使用率，也要保证采集的速...1赞同
在银行信息系统中，应该如何选择日志分析道路？
建议推广统一日志平台，推广服务。这样在管理的角度会有统一的收口，后期运维部门可以新系...4赞同
银行日志分析场景？
银行日志分析场景就非常多了：1.故障快速溯源2.全链路追踪3.业务黄金指标的监控告警和异...2赞同
全链路日志发起端如何判定，异步非实时交易能否跟踪？
异步交易日常见到的会分成两种：1.A系统发送请求到B系统，B系统会进行批处理（比如满100笔或...2赞同
对于没有统一规则的日志尤其是外购产品的日志，如何有效进行关联查询分析？
1.首先要保证该类业务日志是完整的，可选择一条业务进行验证；2.然后识别跨系统的关联字段...1赞同

: chenryn产品总监日志易
《ELKstack权威指南》作者
关注7
个人主页
Ta的精彩回答
全链路如何扩大跟踪覆盖面？
像 nginx 这类主流开源项目，本身也是有对链路跟踪的插件的。比如 skywalking 就提...1赞同
跨容器实现链路跟踪？
云原生基金会下的主流容器网络实现，都提供了一些流量跟踪的基础功能。著名的比如 Ciliu...1赞同
金融企业存量系统运行多样复杂环境中，如何实施全链路日志监控？
在实施全链路监控的过程中，一般建议优先从比较新的系统开始，比较容易见到效果。在这个过...1赞同
多种开发语言应用难以制定统一日志采集标准，对于业务日志采集和分析都带来了挑战？
在环境内存在大量已有系统的前提下，强制完全一致的日志标准确实是不现实的。通常来说只...1赞同
全链路日志中tracertid如何生成？
traceid 的生成只在链路的起点阶段执行，后续系统只负责传递 traceid。因此 traceid 的...1赞同
如何完整的获取到完整的日志？
是的。传统的抓流量方式解决不了这个问题。考虑性能损耗问题的话，相比探针来说，还是建议...2赞同
如何降低多语言日志客户端的研发和维护成本？
个人推荐尽量复用开源领域比较成熟的日志客户端项目，将维护成本转嫁给整个开源社区。而...1赞同
针对例如aix等对golang支持欠缺的平台无法使用beat，应该采用何种方式或工具进行数据采集？
对于 AIX 平台来说，目前确实只能改用其他非 golang 语言编写采集工具了（实际上 AIX 上...1赞同

在本场活动提问

活动明星榜

科技部门副总某互联网银行

本场活动获赞 51

yotta_beyond023

技术总监日志易

本场活动获赞 19

系统架构师某股份制银行

本场活动获赞 11

秋名山车神002

项目经理日志易

本场活动获赞 10

系统运维工程师招商银行

本场活动获赞 9

产品总监日志易

本场活动获赞 9

siguadantang002

技术经理苏宁银行

本场活动获赞 4

基础设施与安全架构师潍柴智能科技

本场活动获赞 2

penghuasheng41320

数字化运维研发团队负责人广发证券

本场活动获赞 1

jason2006xu1412

技术经理昆仑银行

本场活动获赞 1

关于TWT 使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
© 2024talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30

X社区推广