容器云平台在监控方面与传统的环境有什么不同?对于日志的处理,有什么特别之处?

参与9

2同行回答

GaryyGaryy  系统工程师 , 某保险
1)传统应用日志有别于当前流行的容器应用,的传统应用同时一个中间件会运行多个应用,且应用通过log4j等机制保存在文件中方便查看和排错。因为容器运行的特性,对于这部分的日志我们需要持久化到外置存储中。日志的分类如下:• 中间件日志• dump文件• 应用日志日志保...显示全部

1)传统应用日志
有别于当前流行的容器应用,的传统应用同时一个中间件会运行多个应用,且应用通过log4j等机制保存在文件中方便查看和排错。因为容器运行的特性,对于这部分的日志我们需要持久化到外置存储中。
日志的分类如下:
• 中间件日志
• dump文件
• 应用日志
日志保存在计算节点上挂载的NFS存储。为了规范和方便查找。日志将会按OCP平台中的namespace建立目录,进行划分。

2)新应用日志
应对分布式环境下日志分散的解决办法是收集日志,将其集中到一个地方。收集到的海量日志需要经过结构化处理,进而交给需要的人员分析,挖掘日志的价值信息。同时不同的人员对日志的需求是不一样的,运营人员关注访问日志,运维人员关注系统日志,开发人员关注应用日志。这样就需要有一种足够开放、灵活的方法让所有关心日志的人在日志收集过程中对其定义、分割、过滤、索引、查询。
OpenShift使用EFK来实现日志管理平台。该管理平台具备以下能力:
■ 日志采集,将日志集中在一起
■ 索引日志内容,快速返回查询结果
■ 具有伸缩性,在各个环节都能够扩容
■ 强大的图形查询工具、报表产出工具
EFK是Elasticsearch(以下简写为ES)+ Fluentd+Kibana的简称。ES负责数据的存储和索引,Fluentd负责数据的调整、过滤、传输,Kibana负责数据的展示。
Fluentd无论在性能上,还是在功能上都表现突出,尤其在收集容器日志领域更是独树一帜,成为众多PAAS平台日志收集的标准方案。
Openshift部署环境使用EFK进行日志管理。QA环境和生产环境部署描述如下:
Fluentd以DaemonSet方式部署,将收集宿主机中的docker和OCP日志,并发送到ES。OCP集群内的每个结点都会启动一个Fluentd容器。
ES用于日志存储,会部署在infra结点,同时配置成replicas=2,实现高可用。

3)监控
PaaS平台的监控包括系统监控、容器监控等。监控流程由信息收集、信息汇总和信息展示等几个部分组成。
在Openshift中默认使用kubenetes的监控信息收集机制,在每个节点上部署cadvisor的代理,负责收集容器级别的监控信息。然后将所有信息汇总到heapster,heapster后台的数据持久化平台是Cassandra。最后由hawkular从Cassandra获取信息进行统一的展示。

收起
保险 · 2019-01-24
浏览1996
StevenSteven  IT顾问 , steven
容器环境和传统环境监控差别我们觉得在于容器网络是一个相对独立的虚拟网络,跟虚拟机网络还不一样,这是容器资源监控的一个难点。需要把容器网络里面的信息通过宿主机转出来日志的问题也是一样,可以把日志持久化到持久化存储,这样可以从外部访问到这些日志文件,或者通过filebe...显示全部

容器环境和传统环境监控差别我们觉得在于容器网络是一个相对独立的虚拟网络,跟虚拟机网络还不一样,这是容器资源监控的一个难点。需要把容器网络里面的信息通过宿主机转出来
日志的问题也是一样,可以把日志持久化到持久化存储,这样可以从外部访问到这些日志文件,或者通过filebeat 把日志吐出到外部的ES上等方式,然后在对日志文件进行处理

收起
证券 · 2019-01-25
浏览1983

提问者

Huaihai
系统架构师银行
擅长领域: 云计算容器容器云

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2019-01-23
  • 关注会员:4 人
  • 问题浏览:3176
  • 最近回答:2019-01-25
  • X社区推广