普通容器的日志,采用nas更好还是日志分析平台直接收集更好?

普通容器的日志,采用nas更好还是日志分析平台直接收集更好
从日志的持久性保存、性能、分析便捷性进行综合分析的话,哪种方案更优,或者是否有结合的方案。

参与24

7同行回答

北京不眠夜@博云北京不眠夜@博云产品经理公司
首先,我们应该明确一下理解和认知。a、普通容器日志,应该是指应用服务本身在容器中运行正常输出的应用自身日志。b、NAS是给容器做数据持久化的支撑c、直接收集日志,通常日志平台也是从本地日志文件采集后,转发的日志平台。很少把应用日志直接转发到日志平台上。下面我们再基...显示全部

首先,我们应该明确一下理解和认知。

a、普通容器日志,应该是指应用服务本身在容器中运行正常输出的应用自身日志。
b、NAS是给容器做数据持久化的支撑
c、直接收集日志,通常日志平台也是从本地日志文件采集后,转发的日志平台。很少把应用日志直接转发到日志平台上。

下面我们再基于上面的理解来分析看看:

一般来说应用日志都是落盘后,再由日志平台采集端去收集。
项目中采用NAS做数据持久化,落日志占绝大多数。

后续的日志统一管理,一般是日志平台把应用日志采集后统一存放,进行分析查看。
日志的性能,可以从日志平台自身性能、存储和网络性能等维度去考虑,同一般的日志分析方案类似,没有太特别的差异。

收起
软件开发 · 2023-05-12
浏览1248
wenwen123wenwen123项目经理MM
在普通容器的日志管理中,选择NAS(网络附加存储)还是直接使用日志分析平台进行收集,取决于您的具体需求和环境。下面是针对持久性保存、性能和分析便捷性的综合分析:持久性保存:NAS 提供了一个独立的存储设备,可以将容器的日志保存在持久性存储中。这意味着即使容器重启或迁移,日...显示全部

在普通容器的日志管理中,选择NAS(网络附加存储)还是直接使用日志分析平台进行收集,取决于您的具体需求和环境。下面是针对持久性保存、性能和分析便捷性的综合分析:

  1. 持久性保存:NAS 提供了一个独立的存储设备,可以将容器的日志保存在持久性存储中。这意味着即使容器重启或迁移,日志数据也不会丢失。相比之下,直接使用日志分析平台进行收集,需要确保日志数据在容器重启或迁移时不会丢失,通常需要进行一些额外的配置和保护措施。
  2. 性能:使用NAS存储日志可以降低容器的IO负载,因为日志写入到本地存储设备而不是网络传输到日志分析平台。这可以提高容器的性能,尤其是在高并发的情况下。而直接将日志发送到日志分析平台可能会增加网络传输的开销,对容器的性能产生一定的影响。但是,具体性能影响取决于日志量的大小和网络传输的速度。
  3. 分析便捷性:使用专门的日志分析平台可以提供更多的日志分析功能和工具,例如实时搜索、过滤、报表生成等。这些功能使得对日志进行更方便和高效的分析。而使用NAS存储的日志,您可能需要依赖其他工具或脚本来进行日志的搜索和分析。

综合来看,一种更优的方案是将日志同时存储在NAS中,并使用日志分析平台进行实时收集和分析。这样可以保证日志的持久性保存和容器的性能,同时利用日志分析平台的便捷性进行实时分析和监控。通过配置日志收集工具,将日志发送到NAS和日志分析平台,可以同时满足持久性保存、性能和分析便捷性的需求。

请注意,具体的选择还应考虑您的系统要求、预算限制、安全性需求以及团队的技术能力等因素。

收起
互联网服务 · 2023-07-12
浏览757
dongbayoudongbayou软件开发工程师digitalchina
建议使用日志分析平台,能够做到日志的统一收集、查看、分析,能够基于日志做链路分析及监控显示全部

建议使用日志分析平台,能够做到日志的统一收集、查看、分析,能够基于日志做链路分析及监控

收起
软件开发 · 2023-06-14
浏览881
waring_idwaring_id技术经理某公司
业务规模不大且系统稳定问题少的场景可以直接使用NAS业务规模大,团队多,系统关联复杂的应用建议配置日志分析平台显示全部

业务规模不大且系统稳定问题少的场景可以直接使用NAS
业务规模大,团队多,系统关联复杂的应用建议配置日志分析平台

收起
零售/批发 · 2023-05-19
先从单个容器的角度看日志的持久化存储:以Containerd容器运行时为例,容器日志会保存至/var/log/pods/$CONTAINER_NAME目录下,该目录默认保存在每个节点的本地盘上。但是本地存储有很多问题:日志量大会占用大量本地盘空间、日志分散管理难度大、POD漂移后日志找回难等;因此常见...显示全部

先从单个容器的角度看日志的持久化存储:
以Containerd容器运行时为例,容器日志会保存至/var/log/pods/$CONTAINER_NAME目录下,该目录默认保存在每个节点的本地盘上。
但是本地存储有很多问题:日志量大会占用大量本地盘空间、日志分散管理难度大、POD漂移后日志找回难等;因此常见的是指定一个外置NFS共享存储路径来挂载该目录。如果对性能有诉求,可以用全闪存的NFS存储或者SSD占比较多的混合闪存。

但解决容器日志的本地存储是第一步,要发挥日志的作用,还要建立日志分析平台。
所以接下来从K8S集群角度看日志存储和分析:
常见的是部署一套日志收集-存储-分析平台,如ELK/EFK平台
其中的L(Logstash)或F(Fluentd)作为logging agent会作为DaemonSet运行在每个节点上用于抽取日志并写入Elastic Search节点;日志会在ES节点上再次持久化,再使用Kibana做分析
ES节点下的存储建议基于混合闪存的NAS:
1. 为什么推荐外置存储:

  • 集群产生的日志量较大,本地盘的扩容能力受限于单节点的盘数,扩容困难,一旦日志量突增就需要紧急删日志或转储来释放空间;而使用外置存储可以灵活扩容,不会出现因为盘不够用加服务器的情况
  • 本地盘的可靠性不足,单盘故障时数据重构慢,节点故障时只能依靠应用的多副本来保护;而使用外置存储,则把数据可靠性交给专业存储,ES可以单副本部署,即降低成本,也减少了运维的工作量
    2. 为什么推荐混合闪存:
    -  使用SSD作为性能层,保证ES热数据节点的读写效率;使用HDD作为容量层,降低温数据节点(如>30天)日志的成本
    一套存储就可以同时满足高性能、高可靠、低成本的诉求,部署简单。
    3. 为什么推荐NAS:
  • 企业级NAS可以提供接近SAN的性能,同时还具备多租户能力、租户配额等能力,可以隔离不同业务的数据,简化容量管理;
  • 另外基于NAS可以实现POD更快的漂移,例如某个节点故障导致ES POD需要漂移到另一个节点重启,NAS相对于SAN可以实现跨节点挂载,减少等待时间,进一步提升ES业务的可用性。
收起
硬件生产 · 2023-05-16
浏览1237
sunyifengsunyifeng联盟成员系统运维工程师唐山瑞丰钢铁(集团)有限公司
关于普通容器的日志,使用NAS或者日志分析平台直接收集都有其优缺点。如果您只是需要简单地存储和查看日志,那么使用NAS可能更为方便。但是,如果您需要对大规模的容器日志进行分析和查询,并从中汇总有用的信息,则使用专门的日志分析平台可能更为适合。这些平台通常提供更强大的...显示全部

关于普通容器的日志,使用NAS或者日志分析平台直接收集都有其优缺点。如果您只是需要简单地存储和查看日志,那么使用NAS可能更为方便。但是,如果您需要对大规模的容器日志进行分析和查询,并从中汇总有用的信息,则使用专门的日志分析平台可能更为适合。这些平台通常提供更强大的查询和可视化工具,以帮助您更好地理解和利用日志数据。

收起
互联网服务 · 2023-05-16
浏览1146
jimniejimniesreevc
存容器日志目标: 使用 分析 频率来决定吧显示全部

存容器日志目标: 使用 分析 频率来决定吧

收起
互联网服务 · 2023-05-12
浏览1209

ChatGPT 回答

在银行行业中,日志的重要性不言而喻。对于普通容器的日志,采用NAS存储还是日志分析平台直接收集,需要根据具体情况进行综合考虑。

从日志的持久性保存来看,NAS存储更为稳定可靠,可以保证数据的长期保存和可靠性。而日志分析平台直接收集则需要考虑数据的备份和恢复,以及数据的安全性等问题。

从性能方面来看,NAS存储可以提供更高的读写速度和更大的存储容量,但是在高并发的情况下可能会出现性能瓶颈。而日志分析平台直接收集则可以通过分布式架构来提高性能,但是需要考虑平台的稳定性和可扩展性。

从分析便捷性来看,日志分析平台直接收集可以提供更为灵活的分析和查询功能,可以根据需求进行定制化的分析和报表生成。而NAS存储则需要通过其他工具或平台来进行数据分析和查询。

因此,针对银行行业的特殊需求,可以考虑采用结合方案。可以将普通容器的日志先存储到NAS中,然后通过日志分析平台进行数据的分析和查询,以达到更好的持久性保存、性能和分析便捷性。同时,也需要根据具体情况进行细致的规划和实施,以确保系统的稳定性和安全性。

提问者

zzy3620
系统环境管理某城商行
擅长领域: 数据库存储云计算

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-05-12
  • 关注会员:8 人
  • 问题浏览:3201
  • 最近回答:2023-07-12
  • X社区推广