作者knighterrantfxl·2020-11-02 14:09

项目经理·cmbc

民生银行-网络智能流量编排探索

字数 8554阅读 6218评论 1赞 12

一、背景

近几年，随着5G、物联网、人工智能、大数据等新技术的兴起，金融行业应用也在进行深刻的数字化转型，同时虚拟化、云、容器等技术的大力发展和推广，促使金融业网络架构向软件定义、自动化、弹性扩展方向发展。伴随着新技术、新业务的发展，新的安全威胁不断涌现，来自外部和内部的信息安全风险不断增加，对金融系统的安全性提出了更高的要求。基于此金融同业正在积极推动以应用为中心构建零信任架构，增强对个性化的安全防护，借助AI、大数据分析以及全面的安全生态体系，简化复杂的传统的安全模型，加速传统安全架构转型。

为了应对日益严重的IT风险，构建零信任架构，各种监测、防御、扫描、分析等安全产品相继添加进入生产网络，与现有传统的防火墙等安全产品一起形成纵深防御的网络安全体系。另外，受疫情的影响，金融服务模式线上化程度越来越高，基于SSL、国密等加密模式的远程银行、移动办公、在线学习、远程运维等业务迅猛发展，互联网流量出现了成倍甚至数倍的增长，给金融行业互联网生产网络和安全平台带来巨大压力。

由于现有安全工具部署与网络架构紧耦合，导致安全工具部署很难进行弹性、无缝和平滑地扩缩容和有效利用，面对不断增加的安全工具部署需求及流量爆炸式增长带来的安全监控挑战，现有部署架构已不能满足和适应新增工具部署需求，如何打破现有架构的约束，为安全监控提供更多弹性和灵活性，满足个性化、差异化、全面可视的安全监控和检测需求成为了互联网网络运维需要重点思考的问题。本文从互联网架构转型入手，以期通过网络智能流量编排解决上述问题。

二、传统互联网区架构

图-1：典型的金融互联网架构图

如上图所示，金融行业互联网网络同城一般采用双中心接入架构，网络区域上由互联网接入区、互联网前置区、互联网后台区组成。

互联网接入区

对外对接公网互联网，主要实现与公网互联网专线互联，并实现公网与内网地址的转换功能。互联网接入区基于不同的业务功能一般分为办公互联网业务专线接入及生产互联网业务专线接入。

互联网前置区

主要部署互联网应用前置服务器，并通过网络实现前置入访和出访的负载均衡及加解密功能。互联网前置区通常会基于不同的业务功能或为满足监管隔离要求采用横向扩展的方式分为办公互联网前置区、生产互联网前置区、电商互联网前置区、海外数据中心前置区、托管云前置区、子公司互联网前置区等。

互联网后台区

主要部署互联网应用及数据库服务器，对外对接互联网前置区，对内对接后台其它业务区域。

基于业务访问需求，互联网前置需要直接对互联网暴露服务提供给不同渠道的用户访问，是安全防御的重中之重。为有效阻断来自互联网的DDOS、扫描、CC、渗透、病毒等安全攻击，有效保护前置和内网安全，通常会在互联网接入区和前置区串接或旁路部署各类安全设备，如抗DDos、应用层防火墙、IDS/IPS、APT、防病毒墙、WebSense网关、SSL加解密、WAF等，搭建相应的监测和安全可视化平台，结合传统的防火墙等构建串接+旁路的纵深防御安全体系。

图-2：互联网区纵深防御网络安全串接和旁路架构示意图

如上图所示，安全设备通常参照网络防火墙和负载均衡等四七层设备部署模式进行部署，为确保业务流量按既定路径进行转发，同时基于架构的可靠性和冗余考虑，业务流量通常只由主设备来负责处理，其它设备为热备。当新增区域时，安全设备参照现有区域部署模式进行横向扩展。

三、传统架构存在的问题

数据报文在网络中传递时，往往需要经过各种各样的业务节点，才能保证网络能够按照设计要求，提供给用户安全、快速、稳定的网络服务。网络流量需要按照业务逻辑所要求的既定顺序穿越这些业务点，才能实现所需要的安全检测服务。传统安全架构以网络为中心，基于物理拓扑，通过手工配置多种策略，安全设备采用串接模式接入，这种“糖葫芦串”式的安全架构看起来结构清晰、部署简单、扩展方便，但牺牲了架构灵活性，存在诸多问题，特别是无法适应新安全需求，一定程度上严重束缚了以应用为中心、个性化、主动式等的安全防护需求。总体来看，传统的基于“糖葫芦串”式的安全架构存在如下问题和不足：

图-3：传统“糖葫芦串”式的安全架构示意图

安全架构与网络架构紧耦合

安全工具的部署严重依赖现有网络拓扑，新业务上线、扩容或业务发生变更时，需要手工调整整个转发路径下工具的策略，牵一发而动全身，无法满足业务快速迭代、变更的需求，无法为不同业务提供统一的差异化、个性化的安全策略。

解密层过于靠后，效率低

加解密功能由前置区服务器负载均衡提供，相对靠后，IPS、防病毒网关等均需要自身提供加解密功能才能进行七层检测和防御，一方面增加了安全设备的负担，另一方面多次的加解密导致业务访问效率低下。随着企业网络上加密流量的增加，串接和旁路网络监控、性能管理和安全工具都需要实现数据包的可视性，解密功能变得至关重要。解密和重新加密是一项计算密集型任务，性能本不宽裕的安全产品在流量爆发式增长或突发场景下往往显得更加捉襟见肘。

安全资源投入大，成本高

各前置区安全工具需独立部署，新建区域需单独采购服务类设备，特别是未来新建异地数据中心需等比例扩容；新引入安全工具每个区域均需单独采购；大多情况下各区域新购设备基于成本考虑无法统一型号，一定程度上又增加了管理和备件成本。

安全资源无法复用，利用率低

双中心各节点安全工具通常采用主备、或一主多备模式部署，无法实现负载分担，且安全资源无法跨区域共享，利用率低下。

安全资源难以池化，扩展性差

安全资源串接部署，流量均需要经过安全设备，不能基于具体业务需求提供差异化服务，部分安全工具由于网络架构原因导致双重流量穿越同一安全工具，随着业务的增长安全工具往往成为性能瓶颈，一旦出现性能不足，通常只能更换更高端的设备进行扩容。

部分安全监控存在盲区

由于采用串接部署，部分安全设备如WAF需要部署在解密设备后端，而有些业务并不经过加解密设备，导致此部分流量无法进行监控。

其它可能存在问题

部分安全设备由于性能成本问题未串接到网络中，仅用于旁路监控，导致整体安全防御能力存在短板。

基于以上传统架构的制约，我行提出了基于业务的统一的、智能流量编排方案，以期通过流量编排在确保网络架构整体高可用的前提下实现安全资源池化管理，提升安全设备的利用效率，提高应用访问效率；实现安全资源弹性伸缩，满足灵活扩缩容需求；实现业务个性化安全策略定制，使安全等资源更好的服务于业务差异化需求。

四、智能网络流量编排方案

传统安全架构主要存在的问题是安全资源分散，因此首要解决的问题是安全资源集中管理问题，在此基础上再进行业务流量的调度，安全架构既要整合互联网接入区安全资源、同时也需要整合部分前置区安全资源，以达到整体安全架构优化目标。另外，近两年金融网络也逐步由传统的三层架构向SDN迁移和整合，微分段、东西向安全需求也随之被提出。SDN方案可实现对前置区和后台区网络架构的整合，通过扁平化、逻辑网络架构，实现区域逻辑隔离及统一、自动化、软件化管理。下面主要结合以上情况，从互联网接入区流量编排和SDN内部流量编排两个方面进行说明。

4.1 互联网接入区流量编排

如上所说，互联网接入区流量编排既要考虑现有接入区安全资源整合问题，同时也需要解决前置区当前安全架构存在的一些主要问题，互联网接入区流量编排主要实现如下目标：

实现安全资源与网络架构的解耦
实现接入区、前置区安全资源的统一、池化管理
解决SSL解密过后问题，为各前置区提供统一的解密流量
实现基于业务的个性化、灵活的、按需流量编排

4.1.1 互联网接入区流量编排架构

图-4：互联网接入区流量编排逻辑架构

如上图所示，在现有互联网接入区建立流量编排集群，并将接入区及前置区各类安全资源抽离出来集中部署于流量编排层下，形成不同的安全资源池，实现当前安全资源与网络架构的解耦，实现接入区、前置区安全资源的统一、池化管理，并将前置区SSL加解密功能上移到流量编排架构下，为安全资源池和各前置区提供统一的解密流量，简化和统一各前置区的架构。

流量编排集群：主要负责接收公网或内网过来的业务访问流量，并对流量进行识别、分类，并根据业务、安全需求对不同流量进行统一调度。流量编排集群根据相应的策略将请求转发给相应安全资源池，安全资源池完成相应检测后再将请求送回给流量编排集群。针对七层加密业务流量，流量编排集群本身可以考虑同步作加解密操作，也可以先编排SSL加解密设备，加解密完成后将明文送到各组安全资源池。

安全资源池：安全资源池由两台或两台以上具备相同功能的安全设备组成，如SSL加解密资源池、国密资源池、IDS资源池、应用层防火墙资源池、防病毒资源池等，安全资源池设备在同城可以双中心部署，同一资源池提供相同的安全服务功能。安全资源池也可以随安全需求的增加进行扩展。

流量编排集群和安全资源池基于不同的安全资源池设备接入方式又可分两种部署模式：

物理串接部署模式：此模式下安全资源池设备物理上串联在流量编排集群设备上，业务流量进入流量编排集群后由流量编排集群进行集中编排，编排完后再由流量编排集群传递给下游网络。
逻辑串接部署模式：此模式下安全资源池设备采用传统交换网络部署在远端，与流量编排集群形成逻辑串接架构，完全不受流量编排集群架构和端口数量限制，流量编排集群和安全资源池物理解耦。

图-5：流量编排集群和安全资源池部署模式

如图所示，物理串接部署模式从架构上需要重点考虑流量编排集群的物理架构冗余性，在双中心部署模式下需要考虑双中心架构设计，同时需要考虑在部分流量编排设备故障情况下流量切换问题。逻辑串接部署模式由于安全资源池与流量编排集群物理解耦，部署实现方式更加灵活，安全资源池不受流量编排集群部署位置限制，流量编排集群只需要考虑自身性能容量、冗余和高可靠即可。

4.1.2 流量编排服务链与安全策略

流量编排服务链是实现个性化安全防护的关键，服务链是一个指定安全设备检测顺序的集合。无论是通过前端负载分发设备或通过线路引流方式，只要将需要被编排的业务流量引入到流量编排集群即可进行灵活的业务流量编排，实现差异化的安全策略。流量编排集群对于编排的安全资源池设备基本没有限制，无论是WEB代理网关类型的设备、以三层路由模式部署的网络设备（如应用层防火墙等）、以传统二层透明网桥方式部署的安全设备（如WAF、IPS等）、以ICAP协议为主的DLP数据预泄露或者防病毒网关类似的设备，还是常见的IDS、日志等TAP安全设备均可进行集中统一编排和调度。

图-6：流量编排服务链与安全策略

如上图所示流量编排集群中接入了四类安全资源池设备（SSL、NGFW、IPS、WAF），根据不同业务需求，流量编排服务链和安全策略可以为如下任意一种方式：

如上表所示，针对不同业务场景通过流量编排集群定义了三种不同的安全策略服务链，安全策略服务链定义了业务流经不同安全资源池的顺序。当业务请求到达流量编排集群时，首先会进根据源地址、源端口、目标地址、目标端口、网络协议TCP五元组，或IP的地址位置，访问的域名，IP的信誉库等进行分类。然后根据不同的分类流量绑定不同的安全策略服务链，绑定安全策略服务链的业务会根据服务链中定义的安全设备检测顺序依次进行检测。通过服务链对不同业务部署个性化、灵活的安全策略服务，可实现业务流量按需编排调度。

4.1.3 安全资源高可用及弹性扩展

除了流量编排集群本身可提供高可靠性和弹性扩展外，其调度的对象各安全资源池同样可实现弹性和高可用，避免单点安全设备故障场景导致整体业务受损或中断。

传统架构中安全设备通常为主备或一主多备部署，任何一个时间点只有主设备提供安全功能，当主设备发生故障后进行Bypass或跟随网络进行主备切换, 切换后备节点变为主节点提供安全检测功能，Bypass操作会导致安全服务出现‘真空期’。在新安全架构下，安全设备资源池化管理，多台安全设备同时提供相同的功能，流量编排集群根据负载均衡算法将请求发送到不同的安全节点，确保安全服务不会由于个别安全设备故障导致中断。当安全资源池节点不能够满足业务需求需要扩容时，只需在现有安全资源池中添加新设备即可为所有前置区提供全局安全服务，这种插入式的服务对现有业务无影响。

在传统安全架构中，安全资源与网络架构紧耦合，特别是三层安全资源，如果串接安全设备发生故障，可能意味着业务影响，严重时甚至导致业务全局中断，需要通过隔离或切换进行恢复。在新安全架构下，流量编排集群对安全资源池设备可定期进行健康检查，通过健康检查及时发现故障的安全设备，自动进行旁路并通过流量编排集群将故障设备检测流量切换到池中其它安全设备进行处理，无需进行网络架构切换即可进行安全设备的故障隔离和自动切换，最小化故障影响。

另外，在实际生产中，安全设备的上线通常是分批次的，而且不同批次的设备性能可能存在差异，如WAF设备，第一批次上线的设备配置较低，而第二批次上线的设备配置高，这种场景在新安全架构下流量编排集群可以通过负载均衡算法，根据安全设备性能分发不同比率业务流量给不同性能的安全设备，实现负载均衡和安全资源的有效利用。

4.1.4 双模安全部署架构

采用流量编排服务链方案，可以针对安全设备运维和业务特点制定灵活的部署策略，实现双模安全部署。例如安全设备的灰度上线，无论是新安全资源池上线，还是现有安全资源池中新设备上线，均可能过灰度方式将少量业务流量引导给新安全资源池或新设备，待验证稳定后再进行业务全面切换。基于单个业务，同样可以指定不同的服务链，如生产链和灰度链，生产链更注重的是合规、稳定、可靠，而灰度链注重的是攻防与对抗。

4.2 SDN网络流量编排

SDN网络中虚拟网络承载于物理网络之上，虚拟网络和物理网络分离，通过集中的控制器使得网络控制更加灵活，更具有扩展性。同样在SDN环境中需要提供必要的安全和网络服务能力，通过SDN控制器的控制，可以引导流量自动穿过服务节点（如防火墙、负载均衡、入侵检测等），实现拓扑无关的、灵活、便捷、高效、安全的网络流量编排。SDN网络流量编排具备如下主要特点：

基于Overlay网络，控制平面和网络转发平面分离，物理网络与逻辑网络分离
基于租户部署模型，可为每个租户提供个性化的网络流量编排
动态添加或者删除服务链上的服务节点，解耦网络设备间的关联，打破物理拓扑限制
北向可对接云平台，支持服务链快速部署与快速解耦
除南北向流量编排外，更适用于东西向业务访问流量编排

4.2.1 SDN网络流量编排架构

图-7：SDN网络流量编排架构图

如上图所示，首先通过SDN构建一张全互联的二层VXLAN隧道虚拟网络，同时将各种软硬件的负载均衡或安全设备组合抽象成不同的服务资源池（服务链服务节点），满足数据中心内各种业务访问模型。SDN网络流量编排基于SDN Overlay网络，控制平面和网络转发平面分离，物理网络与逻辑网络分离，任意两点之间都可以通过VXLAN隧道通信，忽略底层网络的细节。SDN网络流量编排主要包含如下组件：

SDN控制器： 负责管理服务链域内的设备以及创建业务服务链，并将需要进入服务链处理的业务报文特征下发到VTEP设备。业务服务链可以基于VPC、业务网段或独立的业务主机IP创建。SDN控制器根据不同的租户（VPC）需求，定义、创建服务链，为每个租户提供个性化的网络流量编排服务。同时SDN控制器北向对接云平台，支持服务链快速部署。

服务链分类节点： 一般为SDN VTEP设备, 作为业务流量的网络接入点，按照SDN控制器定义的业务服务链分类规则匹配数据报文，对服务链报文作Overlay封装，并根据对应的服务链转发规则将报文转发到相应的服务链服务节点处理。

服务链服务节点： 服务节点由SDN控制器进行定义，服务节点可以为负载均衡、防火墙、WAF等四至七层网络、安全资源或资源池设备，通常采用旁路串接的方式进行部署。服务链服务节点既可作为业务服务链的源节点，也可以作为业务服务链的目的节点，具体根据实际业务访问需求确定。SDN网络中的服务链服务节点可以是NFV功能节点、传统的网络设备或安全设备，部署上可以不受VTEP接入点的限制，采用分散部署或集中资源池方式部署。

通过SDN网络对业务流量采用服务链进行编排，对虚拟网络业务报文进行重定向，网络和安全需求不再依赖于具体的物理网络。通过SDN控制器和云平台，每个租户可以独立灵活自定义自己的服务链业务，按需进行业务流量编排；支持服务链快速、自动部署，实现业务快速上线，业务迁移服务链策略可自动跟随进行迁移；通过对服务链服务节点资源进行池化管理，服务链服务节点可弹性扩展，故障、升级替换场景下可灵活通过SDN控制器进行Bypass。

4.2.2 南北向和东西向服务链

数据中心网络流量分为东西向流量和南北向流量，对应SDN的东西向服务链和南北向服务链。南北向服务链用于SDN Fabric内与外部网络之间的流量编排，服务链服务节点资源池（通常为防火墙）部署在SDN网络内部，提供边界安全。东西向服务链用于SDN Fabric内各逻辑分区间、VPC间或业务间的安全隔离或业务间访问流量调度，服务链服务节点资源池部署在SDN 网络内部，提供横向流量编排。

4.3 民生银行智能流量编排

图-8：民生银行统一的智能流量编排架构图

如上图所示，基于流量编排集群的集中式编排架构和SDN的流量编排架构，民生银行结合自身网络特点设计了统一的智能流量编排架构。具体如说明下：

在互联网接入区部署集中式编排层，主要负责SSL加解密、防病毒、WEBSense、WAF等平台的编排功能。通过接入区负载均衡对流量编排集群进行负载分担，满足流量编排集群双中心部署和横向扩展需求，安全服务资源池采用逻辑串接架构跨中心部署。接入区流量编排集群同时承担SSL加解密功能。通过接入区负载均衡对所有接入区流量进行统一、按需分发，对需要作加解密或走接入区安全检测的业务引导到接入区流量编排集群中，由接入区流量编排集群负责基于业务的四到七层的、精细化流量编排，无需接入区流量编排集群处理的流量直接转发给后端各前置区编排。
互联网SDN、子公司SDN等区域通过SDN控制器对本区域不同VPC东西向、南北向流量进行独立编排。SDN内部采用分布式调度策略，侧重于对通过负载均衡、防火墙等业务间、跨VPC或跨SDN区通讯的业务流量进行编排。
上层通过超级控制器对接流量编排集群和各区域SDN控制器，进行统一集中管理，实现编排策略的自动化下发。未来超级控制器可提供统一的用户入口，结合流程平台和自动化平台实现安全和网络服务开通一体化自服务功能。

民生银行智能流量编排架构充分发挥了集中式和SDN编排的优势，对现有网络和业务访问流进行了重塑，具备如下特点：

软件定义网络和安全服务，通过超级控制器可实现全局智能化、自动化流量编排，为未来网络、安全自服务奠定了基础
网络服务、安全资源与网络架构完全解耦，突破了现有物理拓扑限制
实现了网络服务和安全资源的池化，满足弹性伸缩、资源利用率最大化需求
加解密功能和部分安全资源前置，统一和简化了各前置区架构，减轻了安全资源的负载；利用流量编排集群自身强大的加解密能力，简化了编排层次和运维复杂度，减少了重复投资
接入区和前置区双重服务链，接入区注重业务的精细化编排，前置区注重较粗粒度编排，双重服务链根据实际需求进行部署，可充分发挥两种架构优势，安全监控无死角，满足基于业务和租户的个性化、灵活的、按需流量编排
旁路架构满足安全资源灰度发布，双模安全部署和灵活故障Bypass需求

五、小结

总体来看，基于流量编排集群的集中式编排架构具备四到七层流量精细化分类和业务识别能力，可对入访和出访流量进行编排，适用于南北向串行安全链条较长的场景（如生产或办公互联网接入区）,在具体设计方面需重点考虑平台自身的冗余性和可靠性，评估性能压力。SDN的流量编排基于报文二三层特征对流量进行分类，采用集中控制、分布式处理架构，既可对南北向流量进行编排，又可对东西向流量进行编排，在大流量、粗粒度流量调度场景下具备较强的性能优势，建议重点考虑方案的适应性并根据自身网络和业务实际需求合理规划服务链规则。

民生银行基于网络的、统一智能流量编排从业务角度出发，对网络架构进行了有效重塑，对网络资源和安全资源服务进行统一池化、自动化编排管理；架构弹性可扩展，打破了现有架构的约束，解耦了网络设备间、安全资源与网络架构间的关联；提高了网络和安全资源的利用率；支持基于业务的服务链的灵活定义；为安全监控和业务访问流量调度提供了诸多灵活性，满足了个性化、差异化、按需的安全监测和业务流量编排需求。