应用容器化后,建议日志是落盘后再采集还是直接通过网络发到外部呢?

应用容器化后,建议日志是落盘后再采集还是直接通过网络发到外部呢?

参与38

11 同行回答

Macso Macso 员工 光大科技有限公司
1.对于集群级别的日志采集方案还是选择不落盘采集,避免因为I/O影响性能。2.应用级别的日志采集,分情况,能标准输出的也不落盘;只能打日志文件的那就先落盘后再sidecar标准输出或者直接转发到后端...显示全部

1.对于集群级别的日志采集方案还是选择不落盘采集,避免因为I/O影响性能。
2.应用级别的日志采集,分情况,能标准输出的也不落盘;只能打日志文件的那就先落盘后再sidecar标准输出或者直接转发到后端

收起
软件开发 · 2021-09-03
浏览3762
  • 如果有应用由于bug触发死循环了,而循环中打日志了呢,平台收集标准输出的速度跟不上,会不会导致丢掉正常应用的日志
    2021-09-03
  • 容器的标准输出日志,也是会落盘的,担心丢日志问题,可以重点配置此项。 1. 如果采用节点级日志采集,采集端需要支持降级处理,可动态配置过滤不采集项,可避免不能采集正常日志; 2. 如果采用sidecar的方式采集,日志采集的资源消耗在业务侧,风险会被分担减少。
    2021-09-05
nameless nameless 技术总监 某云计算厂商
先说结论,建议直接容器标准输出送到ES。1、为什么容器化环境需要统一日志?是因为应用容器化后,容器扩缩容非常方便,应用实例数量有可能很多,在故障排错过程中,相对传统直接登录主机看日志方式,容器化环境错误日志查看更难,所以需要统一日志存储。...显示全部

先说结论,建议直接容器标准输出送到ES。
1、为什么容器化环境需要统一日志?是因为应用容器化后,容器扩缩容非常方便,应用实例数量有可能很多,在故障排错过程中,相对传统直接登录主机看日志方式,容器化环境错误日志查看更难,所以需要统一日志存储。

收起
软件开发 · 2021-09-02
浏览3454
北京不眠夜@博云 北京不眠夜@博云 产品经理 公司
建议采用先落盘再转发的方式来处理日志。目前,我看到的主流做法都是通过EFK/ELK进行日志处理。如果有其他专业日志平台,可以通过kafka进行转发,以实现对接现有日志平台。filebeat部署在node节点上,负责日志采集kafka实现日志转发Elasticsearch日志存放Kibana进行日志展示和分...显示全部

建议采用先落盘再转发的方式来处理日志。
目前,我看到的主流做法都是通过EFK/ELK进行日志处理。如果有其他专业日志平台,可以通过kafka进行转发,以实现对接现有日志平台。
filebeat部署在node节点上,负责日志采集
kafka实现日志转发
Elasticsearch日志存放
Kibana进行日志展示和分析

通过网络外发,从技术上是完全可行的。但是,网络的不确定性,会造成传输过程的日志丢失风险,并且由于缺少本地日志,会出现不可逆的风险。因此,从稳妥上来说,建议先本地落盘,在转发出来。

收起
软件开发 · 2021-09-07
浏览1240

    提问者

    xylonxiang
    xylonxiang 0 0 14
    运维经理 湖南高阳通联
    擅长领域: 云计算容器系统运维
    评论58

    问题来自

    相关问题

    相关资料

    相关文章

    问题状态

  • 发布时间:2021-09-01
  • 关注会员:12 人
  • 问题浏览:9261
  • 最近回答:2021-09-08
  • X社区推广