某银行应用Overlay技术VxLAN实践与应用场景

一、某商业银行传统网络面临的问题

随着某商业银行业务的快速扩展，网络、主机、数据库做为基础设施，快速响应上层业务的部署和减少资金投入成为主要需求，提供可用的、便捷的、按需的资源提供，成为该商业银行IT建设的常规形态。业务服务器的横向扩容与应急、大数据应用与未来云计算中大规模虚拟化几乎成为一个基本的技术模式。部署虚拟机需要在网络中无限制地迁移到目的物理位置，虚拟机增长的快速性及迁移、备份成为一个常态性业务。传统以VLAN技术为主的网络已经不能很好满足同中心与跨中心虚拟机的迁移、备份与数据库RAC应用这种需求，迫切的需要跨越同数据中心不同数据分区与不同数据中心数据分区的网络大二层网络环境，何谓大二层网络？就是一种可以超过单个数据中心范畴的不需要网关就可以通讯的网络环境，最初这个词汇产生于数据中心，为了满足主机在不同数据中心迁移流量分担，需要将二层网络拓展到跨数据中心，这样的话，主机可以不需要改变任何配置，包括IP地址、网关，可以在数据中心之间自由移动；同时二层流量（以太网帧、ARP交互）也可以跨数据中心自由地流动。

1.传统网络架构限制东西流量

传统网络架构以三层为主，主要是以控制南北数据流量为主（主要是服务器、虚拟机与外部通信），由于数据中心虚拟机的大规模使用，虚拟机迁移的特点以东西流量为主，在迁移后需要其IP地址、MAC地址等参数保持不变，如此则要求业务网络是一个二层网络。但已有二层技术存在下面问题：

1)生成树(STP Spanning-tree Protocol)技术，部署和维护繁琐，网络规模不宜过大，限制了二层网络的扩展，若二层网络规模大，网络震荡与收敛的时间就更长。目前某商业银行松山湖生产业务区、外联前置区、托管系统区等部署Cisco Nexus数据中心级交换机，暂时消除了区域内部STP。

2)各厂家私有的IRF/vPC等网络虚拟化技术，虽然可以简化部署、同时具备高可靠性，但是对于网络的拓扑架构有严格要求，同时各厂家不支持互通，在网络的可扩展性上有所欠缺，只适合小规模网络部署，一般只适合数据中心内部分区网络。

3)新出现的大规模二层网络技术TRILL/SPB/FabricPath等，虽然能支持二层网络的良好扩展，但对网络设备有特殊要求，网络中的设备需要软硬件升级才能支持此类新技术，带来部署成本的上升。

2.业务规模受网络设备规格限制
业务中虚拟机的大规模部署，使二层地址（MAC）表项的大小限制了环境下虚拟机的规模，特别是对于接入设备而言，二层地址表项规格较小，限制了整个数据中心的业务规模。

3.不能适应大规模部署
云计算、大数据等业务需要在大规模数据中心部署VLAN，会使得所有VLAN在数据中心都被允许通过，会导致任何一个VLAN的广播数据会在整个数据中心内泛滥，大量消耗网络带宽，同时带来维护的困难。

二、解决问题的新思路-Overlay网络

针对前文提出的三大技术挑战，传统解决问题的思路是把原先的网络架构新购设备或者传输线路改造为互通的大二层网络，但是要需要大量的设备与专线资金投入。所以业界提出新的思路，在不改变原先架构的基础之上新建一个Overlay的网络，来为网络多活、数据中心互联及大数据等云计算业务提供支撑。
1)Overlay网络是指建立在另一个网络上的网络。该网络中的结点可以看作通过虚拟或逻辑链路而连接起来的。
2)Overlay网络具有独立的控制和转发平面，对于连接在overlay边缘设备之外的终端系统来说，物理网络是透明的。
3)Overlay网络是物理网络向云和虚拟化的深度延伸，使资源池化能力可以摆脱物理网络的重重限制，是实现云网融合的关键。

1.Overlay网络的优点
1.1 东西流量受到传统网络架构限制问题的解决方法
Overlay是把二层报文封装在IP报文之上的新的数据格式，因此，只要网络支持IP路由可达就可以部署Overlay网络，而IP路由网络本身已经非常成熟，且在网络结构上没有特殊要求。而且路由网络本身具备良好的扩展能力，很强的的故障自愈能力和负载均衡能力。采用Overlay技术后，某商业银行可以不用改变现有网络架构即可用于支撑新业务，方便部署。

1.2 业务规模受网络规格限制问题的解决方法
部署Overlay网络后，虚拟机数据封装在IP数据包中，对于承载网络（特别是接入交换机、路由器、防火墙）只需要学习隧道端点的MAC，MAC地址规格需求极大降低。对于核心网关处的设备表项(MAC/ARP)要求依然极高，当前的解决方案仍然是采用分布式网关方式，通过多个核心网关设备来提高表项的总体规格.

1.3 大二层透传VLAN问题的解决方法
部署Overlay网络后，针对VLAN技术下广播风暴问题，Overlay对广播流量转化为组播流量，可以避免网络本身的无效流量带宽浪费。

2.实现大二层与Overlay网络的技术方案
当前Overlay与大二层技术的成熟的网络技术有：

基于成本与维护考虑，在实现Overlay架构与大二层网络技术中，Overlay技术脱颖而出的当属VXLAN， VXLAN由于仅仅需要传统三层的支持，这对于任何现有的IP网络都是小菜一碟，无需额外的配置，也无需升级硬件平台（具有支持VXLAN的软件授权即可），中间节点就可以完成Overlay的三层运载，只需要基于主机实现VTEP功能，或基于网络设备的VTEP功能，就足够了。若是能配置基于主机的VTEP功能，主机可以自由移动到任何有IP连通性的网结，数据中心与不同数据中心同一网段的主机都可以在二层与它通信，VXLAN是将以太网报文封装成UDP报文进行隧道传输，UDP目的端口为已知端口，源端口可按流分配，标准5元组方式有利于在IP网络转发过程中进行负载分担；隔离标识采用24比特来表示；未知目的、广播、组播等网络流量均被封装为组播转发：

位置无关性：业务可在任意位置灵活部署，缓解了服务器虚拟化后相关的网络扩展问题;
可扩展性：L2-4层链路HASH能力强，不需要对现有网络改造。在传统网络架构上规划新的Overlay网络，部署方便，同时避免了大二层的广播风暴，可扩展性极强;
部署简单：既可以单独手工部署，也可以配合高可靠SDN Controller完成控制面的配置和管理，避免了大规模的组播部署，同时集中部署模式可加速网络和安全基础架构的配置，提供了可靠性和极好的扩展性，VXLAN开放、兼收并蓄，业界支持度最好，商用网络芯片大部分支持;
适合云业务：支持业务隔离，支持云计算业务的大规模部署;
技术优势：VXLAN利用了现有通用的UDP传输，成熟性极高，与中间设备无关，只要网络支持IP即可，对传输层无修改，使用标准的UDP传输流量。

3.VXLAN控制平面隧道的实现三种方式
VXLAN控制平面隧道的实现方式主要分为三种：通过数据平面自学习、通过控制协议学习（利用扩展路由协议IS-IS或BGP完成VXLAN控制平面的地址学习）和通过SDN Controller实现。这三种方式的主要特点如表1所示。

表1 VXLAN控制平面隧道的实现三种方式

通过上述多种实现方式对比，结合运行维护难度与某商业银行网络规模，使用自学习的标准VXLAN模式最佳。

三、VXLAN网络的部署方法

1.VXLAN的网络模型

如图1所示，根据客户不同组网需求，分为以下三种组网模型。

Network Overlay 隧道封装在物理交换机完成。这种Overlay的优势在于物理网络设备性能转发性能比较高，可以支持非虚拟化的物理服务器之间的组网互通。
 Host Overlay 隧道封装在vSwitch完成，不用增加新的网络设备即可完成Overlay部署，可以支持虚拟化的服务器之间的组网互通。
 Hybrid Overlay是Network Overlay和Host Overlay的混合组网，可以支持物理服务器和虚拟服务器之间的组网互通。

通过上述多种实现方式对比，结合某商业银行数据中心新旧网络兼容性，使用Hybrid Overlay的VXLAN模式最佳。

2.VXLAN的实际组网
在VXLAN实际网络部署中，接入设备可以为vSwitch和物理交换机。为了实现VXLAN的网关功能，由核心物理网络设备承担，提高了网络性能。

核心设备主要提供VXLAN 网关功能，支持VXLAN报文的封装与解封装，并根据内层报文的IP头部进行三层转发，支持跨VXLAN之间的转发，支持VXLAN和传统VLAN之间的互通。

vSwitch软件主要提供虚拟化VXLAN 隧道封装功能，支撑VM接入Overlay网络，支持VXLAN报文的封装与解封装，支持跨VXLAN之间的转发。

物理接入网络设备主要提供VXLAN 隧道封装功能，支撑物理服务器接入Overlay网络，支持VXLAN报文的封装与解封装，并根据内层报文的MAC头部进行二层转发。
该方案具有如下特性：
可以支持虚机与非虚拟化的物理服务器之间的二层数据互通；
用物理设备实现VXLAN路由功能，提升了网络的整体性能；
控制面通过手工配置实现，提高了稳定性和可靠性，避免了大规模组播的复杂部署；
支持分布式网关功能，使虚机迁移后不需要重新配置网关等网络参数，部署简单、灵活。

四、VXLAN在某商业银行的应用

1.同分区混合组网
数据中心分区内部混合组网，所谓的新旧混合组网，就是说在保障某商业银行现网不在任何改变的条件下，新增服务器与VXLAN网段配置，并且保障新旧网络区域内通信不受影响。在数据中心分区内部，匹配VXLAN的数据直接经过VXLAN隧道转发，不匹配VXLAN数据与传统以太网络经过路由转发。

2.跨分区组网
在数据中心不同分区之间，核心系统区与外联前置区汇聚交换机启用VXLAN功能，采用传统的VXLAN部署方式，在核心系统区与外联前置汇聚区之间建立VXLAN隧道，类似使用光纤互联，匹配VXLAN的数据直接经过VXLAN隧道转发，不同分区之间既可二层通讯，又可以有效隔离，不匹配VXLAN的数据直接经过传统路由转发。

3.跨数据中心组网
在不同数据中心分区之间，松山湖核心系统区与横沥核心系统区交换机启用VXLAN功能，采用传统的VXLAN部署方式，只需松山湖核心系统交换机与横沥核心系统交换机网络三层互通既可，在松山湖核心系统交换机与横沥核心系统交换机之间建立VXLAN隧道，匹配VXLAN的数据直接经过VXLAN隧道转发，实现服务器的跨分区部署，类似使用光纤互联。

图4 VXLAN跨数据中心组网

4.多数据中心组网
在不同数据中心分区之间，松山湖核心系统区、横沥核心系统区、郑州核心系统区交换机全部启用VXLAN功能，在三地数据中心的核心系统去交换机与之间建立全互联VXLAN隧道，逻辑的将三个数据中心连接起来，匹配VXLAN的数据直接经过VXLAN隧道转发，实现虚拟机与RAC二层互联。

五、总结语

VXLAN现是给那些多数据中心互联而数据中心之间没有DWDM或者直连二层专线的，经过简单的网络配置就可以克服了基于 VLAN 的传统限制，可为处于任何位置的三层互通的网络架设二层环境带来最高的可扩展性和灵活性、以及优化的性能。
结合某商业银行实际情况，现横沥数据中心与松山湖横沥通过DWDM做了二层与三层混合打通，有了完善的大二层环境（可以提供存储复制，VM迁移，RAC等），在2个数据中心之间部署VXLAN可是非必要的，若是以后拓展到郑州数据中心，由于无法使用波分设备与光纤直连，若想实现多活之间内部服务器二层互联互通，那是有必要并且是可行的。