fowse
作者fowse·2020-09-21 14:17
售前技术支持·云杉网络

善用网络知识图谱化解混合云下容器网络的监控与诊断难题

字数 2333阅读 465评论 0赞 0

金融企业在数字化转型的过程中不断引入新技术、新应用为业务的发展加持科技创新能力。随着上云业务规模的逐步增加,传统集中式基础架构与虚拟化、云、容器等分布式基础架构长期并存,大量系统上云和应用的㣲服务化导致网络层级复杂,池内网络流量“黑盒”的状态对传统的监控运维带来了新的挑战。

如何在混合云、云原生环境中保障业务的连续性,实现业务端到端性能分析、快速定位问题、诊断故障根因,成为了金融机构网络团队和平台保障团队迫切需要解决的问题。

1. 知识图谱勾画出错综复杂的网络全景图

传统的网络监控方案中“点”与“线”的划分很常见,对监控分析对象中最终钻取到的数据包作为“点”提供深入详细的协议识别和异常排查证据。在完整的业务访问路径上一条网络流则是由多个“点”连成的“线”,其中包括链路、防火墙、负载均衡、服务等信息,这条“线”是网络保障业务稳定运行的关键视角。但在多地数据中心、资源池化,并且涉及公有云资源,专线链路的IT环境,市场上缺少全局的网络状态视角,这并不是一个单纯的统计汇总视角,而是一张关联IaaS资源、PaaS资源、服务应用的全景网络知识图谱。

利用统一的混合云网络流量采集器实时捕获和处理原始数据包、网络流数据和统计数据,从十多种维度、数百个个指标量数据中描绘出一张用于定位和排查问题的知识图谱,其包含网络所涉及的对象实体映射关系,显示网络拓扑与现网流量的一系列不同视角的视图。

监控资源涵盖宿主机、虚拟机、容器(Node、Pod)、裸机这些端节点,也包括宿主机vSwitch、容器节点vSwitch、物理交换机、路由器、NAT网关、负载均衡器等各类网元,通过以上资源的流量关系智能推算出资源的业务属性,如容器命名空间、容器POD组、资源组服务、容器服务(Service)在业务拓扑中的服务依赖关系。

为了满足不同场景下网络监控诊断的需求,高性能多维度的聚合查询能力必不可少,网络时序数据库提供了高性能查询能力,展示网络趋势、规律、异常等。根据使用场景的不同对各类型数据进行可视化的搜索展示,包括但不限于分布类、关联类、比较类、回溯类4个重点方式:

分布类

在分布类视图中,主要展示流量、延时、TCP状态、告警等历史周期数据、瞬时数据在地域、虚拟化平台、容器平台、应用等维度的分布,快速对应热点,调整分配计划。如在流量热点分布视图中,快速全面掌握不同地域间多个可用域的服务访问压力、可用域间专线链路状态,可从此视图向其他视图对比切换。

关联类

对虚拟网络达到监控诊断的目的,需要对各维度间的实例,所存在的多对多关系进行有机、快速展示。以任何一种维度实例快速查询相关联的维度实例,为整个虚拟化、云、容器环境构建网络图谱,实现可视化、网络图谱查询、有效提高在动态性突出的资源池内网络中快速定位故障、实现对资源池内网络的可控可管。

比较类

在比较类视图中,包含周期比较、分布比较、关联关系比较视图,其主要目的是快速找不同,找差异。以周期比较视图为例,获取同一时间周期的流量、数据包、延时的折线图,以时间轴推进来比较是在分析网络异常时常用的比较类视图。

网络虚拟化中,涉及到繁多的网络配置信息,包括安全组策略、流表等,配置比较视图能快速对比配置信息,找出配置差异,在排障过程中节省宝贵时间。

回溯类

回溯类视图通过平行坐标图或桑基图,为网络运维团队提供了对历史网络流日志数据完整多维度视图回溯的能力,并可获取相关的原始数据包。

2. 利用知识图谱化解容器网络监控诊断难题

云原生系统发展迅速,大量企业已经将容器技术投入至生产环境,有效的容器网络保障是迫切的需求。 经过长期对网络工作的跟踪,结合DeepFlow®客户处的应用实践,以Kubernetes环境为例,介绍如何解决容器网络监控诊断的难题。

容器网络的监控诊断所面临的挑战:

  • 容器环境下以东西向的通信为主,传统流量采集方式无法全部覆盖
  • 网络层级复杂端到端路径诊断困难
  • 业务拓扑动态性强,孤立的IP身份识别无法满足分析需求

DeepFlow®采集器以进程的方式运行在虚拟化容器节点或物理容器节点上,以Pod为单元获取现网流量,提供Metric、Tracing、Log可观测数据,解决了云原生环境下分布式系统的可观测性难题, 提供Node、POD、Service、Ingress等网络可视化能力。

对于端到端路径复杂的特点,覆盖端到端经过的每一跳,包括源端的POD、虚拟机,目的端的POD、虚拟机,也包括了中间经历的物理链路。特别是非常重点的比如硬件的物理防火墙、物理的负载均衡以及虚拟化的NAT网关资源池、LB的资源池等等这些关键位置的性能和状态信息,满足业务全链路的性能监控与故障排查。

对于业务拓扑的高动态性的特点,我们需要将流量的源、目的映射到具体的资源,不同于传统物理网络中通过探针位置定位网络路径,在池化后的网络环境中,部署在节点上的采集点面向整个容器资源池,涵盖所有的Pod资源,而且,业务所涉及的Pod也并不是固定在某一节点之上。“业务画像”通过“资源组”、归类IP、功能服务、路径、链路等,来描述完整的业务应用所涉及的资源。

通过业务资源的描述,资源池内的流量将按此规则过滤,实现业务应用端到端访问的网络监控与诊断。 在整条路径中,分段排查网络状态,快速缩小问题范围,定位异常原因。

利用可视化的网络知识图谱,对区域、节点、POD、IP等多维度的网络状态进行关联关系查询展示,不断缩小范围,回溯定位网络流、数据包进行分析取证。

3. 总结

通过对容器网络细粒度的流量捕获能力,利用知识图谱从十多个维度搜索和展现网络全景图,实现对云原生业务关键链路的全面性能监控,并提供虚拟网络端到端的全路径诊断,解决企业上云遇到的虚拟网络监控、运维、安全等难题。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广