容器云平台建设难点之网络如何选择?如果选SDN网络,那么SDN网络实现方案又应该如何选择?

容器网络如何选择?容器云平台的网络一直是一个技术难题,是采用SDN网络还是桥接到Underlay网络;如果使用SDN网络,那么多的SDN网络实现方案,如何选择?

6回答

zhuqibszhuqibs  软件开发工程师 , Mcd
zhanghaiyanzhangpinliujian0122等赞同了此回答
关于SDN还是underlay,如果你是自建的,一定不会选用SDN, 成本啊,兄弟们! cisco去年要个给我们搭建个ACI, 一个交换机就是1万多,如果是银行钱多没有关系,中小企业资金紧张加上疫情,那会选择。 vmaware的NST-G我们也用过,有bug,这个PKS每个月都会有一次“月经”,每次网络存储全堵死,io...显示全部

关于SDN还是underlay,如果你是自建的,一定不会选用SDN, 成本啊,兄弟们! cisco去年要个给我们搭建个ACI, 一个交换机就是1万多,如果是银行钱多没有关系,中小企业资金紧张加上疫情,那会选择。

vmaware的NST-G我们也用过,有bug,这个PKS每个月都会有一次“月经”,每次网络存储全堵死,io基本龟速,dell派人解决了大半年,连交换机都换成Dell的了都没有解决,结果赔了3台服务器,帮我们全换成普通的vcentor。

SDN听上去美好,现实很骨感,当然如果你有钱并愿意试错,又追求新技术,当然也是没问题的。比如阿里云、腾讯云这些公有云,基本必然是sdn,人家有钱有人,来填坑。

所以,一般公司Underlay就可以了,加上Kubernetes自己的calico,fannel,或cattle,一般都没问题,就是网络上没有硬隔离,没有客户化的东东,但我们可以用公有云的啊,自己去建,多费钱。

收起
 2020-03-31
浏览436
xiaoping378xiaoping378  系统架构师 , 某行科技公司
1. 既然是说容器云平台建设,肯定已经有了网络基础设施,那不考虑数据中心级别的SDN方案。只考虑在已有的网络建设成果上建设;2. 不用迷信商业方案,无论是开源还是商业方案,大家都得遵守k8s的cni接口。不建议在容器网络方案中寄托太多的功能,如网络限速、安群策略等等。3. 考...显示全部

1. 既然是说容器云平台建设,肯定已经有了网络基础设施,那不考虑数据中心级别的SDN方案。只考虑在已有的网络建设成果上建设;
2. 不用迷信商业方案,无论是开源还是商业方案,大家都得遵守k8s的cni接口。不建议在容器网络方案中寄托太多的功能,如网络限速、安群策略等等。
3. 考虑目前主机层面大都可以保障二层是通的。最简单方案方案可以选flannel。目前flannel发展到现在,已经支持vxlan模式下启用DR网络了,通俗讲,就是同一子网下,走hostgw,宿主机充当软路由,性能接近裸网,垮子网的情况走vxlan。即兼顾了性能,又考虑了可扩展性。另外flannel目前也重点优化了大规模容器云的路由表或arp占用过多问题,做到了:每扩展一个主机只增加一个路由项、一个fdb项、一个arp项。
4. 如果考虑容器网络隔离和安全策略的话(其实没必要,网络隔离,可以从项目级别来设置调度策略做到物理隔离),可以考虑Canal网络方案,他是calico和flannel的结合体。

收起
 2020-04-01
浏览391
GaryyGaryy  系统工程师 , 某保险
关于容器网络的建设思路:容器网络发展到现在,已经是双雄会的格局。双雄会其实指的就是Docker的CNM和Google、CoreOS、Kuberenetes主导的CNI。首先明确一点,CNM和CNI并不是网络实现,他们是网络规范和网络体系,从研发的角度他们就是一堆接口,你底层是用Flannel也好、用Calico也好...显示全部

关于容器网络的建设思路:
容器网络发展到现在,已经是双雄会的格局。双雄会其实指的就是Docker的CNM和Google、CoreOS、Kuberenetes主导的CNI。首先明确一点,CNM和CNI并不是网络实现,他们是网络规范和网络体系,从研发的角度他们就是一堆接口,你底层是用Flannel也好、用Calico也好,他们并不关心,CNM和CNI关心的是网络管理的问题。

网络需求调研发现,业务部门主要关注以下几点:1、容器网络与物理网络打通2、速度越快越好3、改动越少越好4、尽可能少的风险点。

容器的网络方案大体可分为协议栈层级、穿越形态、隔离方式这三种形式
协议栈层级:二层比较好理解,在以前传统的机房或虚拟化场景中比较常见,就是基于桥接的 ARP+MAC 学习,它最大的缺陷是广播。因为二层的广播,会限制节点的量级;三层(纯路由转发),协议栈三层一般基于 BGP,自主学习整个机房的路由状态。它最大的优点是它的 IP 穿透性,也就是说只要是基于这个 IP 的网络,那此网络就可以去穿越。显而易见,它的规模是非常有优势,且具有良好的量级扩展性。但在实际部署过程中,因为企业的网络大多受控。比如,有的企业网络的 BGP 是基于安全考虑不给开发者用或者说企业网络本身不是 BGP,那这种情况下你就受限了;协议栈二层加三层,它的优点是能够解决纯二层的规模性扩展问题,又能解决纯三层的各种限制问题,特别是在云化 VPC 场景下,可以利用 VPC 的跨节点三层转发能力。

穿越形态:

这个与实际部署环境十分相关。穿越形态分为两种:Underlay、Overlay。

Underlay:在一个较好的可控的网络场景下,我们一般利用 Underlay。可以这样通俗的理解,无论下面是裸机还是虚拟机,只要整个网络可控,容器的网络便可直接穿过去 ,这就是 Underlay。

Overlay:Overlay 在云化场景比较常见。Overlay 下面是受控的 VPC 网络,当出现不属于 VPC 管辖范围中的 IP 或者 MAC,VPC 将不允许此 IP/MAC 穿越。出现这种情况时,我们可利用 Overlay 方式来做。

Overlay网络使物理网络虚拟化、资源池化,是实现云网融合的关键。把Overlay网络和SDN技术结合使用,把SDN控制器作为Overlay网络控制平面的控制器,这种方式更容易使网络与计算组件整合,是网络向云平台服务转变的理想选择。

隔离方式:

隔离方式通常分为VLAN和VXLAN 两种:

VLAN:VLAN 机房中使用偏多,但实际上存在一个问题。就是它总的租户数量受限。众所周知,VLAN 具有数量限制。

VXLAN:VXLAN 是现今较为主流的一种隔离方式。因为它的规模性较好较大,且它基于 IP 穿越方式较好。

我们从协议层级、穿越形态和隔离方式对kubernetes几个常见的网络组件(calico、contiv、flannel、Openshift SDN、自定义路由)在传统机房网络以及云化VPC网络应用场景下做一个分析,用连线图来表述它们之前的关系。

收起
 2020-03-25
浏览768
liufengyiliufengyi  软件架构设计师 , 某互联网银行
优先考虑公司整个网络扁平化,互联互通,这样对应用改造成本要小很多,即基于公司原来的网络打通来进行,如果容器的应用是一个相对独立的服务,可以考虑overlay。规模不大的情况下一些开源网络组件可以考虑采用...显示全部

优先考虑公司整个网络扁平化,互联互通,这样对应用改造成本要小很多,即基于公司原来的网络打通来进行,如果容器的应用是一个相对独立的服务,可以考虑overlay。规模不大的情况下一些开源网络组件可以考虑采用

收起
 2020-03-25
浏览728
Steven99Steven99  软件架构设计师 , steven
容器网络选择我个人觉得不是重点,其实不管哪种网络,都应该对终端用户透明,所以不应该纠结于网络模型需要考虑的重点可能是安全性,稳定性,易用性等,我们使用calico网络,发现也是很多问题,在考虑替换。开源产品总是需要很多额外的工作,测试验证,逐步优化,不实际使用,很难说哪种更合适,在...显示全部

容器网络选择我个人觉得不是重点,其实不管哪种网络,都应该对终端用户透明,所以不应该纠结于网络模型
需要考虑的重点可能是安全性,稳定性,易用性等,我们使用calico网络,发现也是很多问题,在考虑替换。开源产品总是需要很多额外的工作,测试验证,逐步优化,不实际使用,很难说哪种更合适,在使用过程中可能会逐步清晰自己的需求
容器安全,容器网络安全可能是重点,特别上生产业务,服务数量达到一定量后,会有很多想不到的问题,当然,不实际做过,也很难选择,所以可以尝试先用起来,经常使用会逐步清晰明白自己要什么

收起
 2020-03-24
浏览803
匿名用户匿名用户
calico、bgp、ingress、nginx等都是可以的1、calico将集群内与集群外网络打通,但是随着集群外访问集群内的节点越来越多,运维难度会加大2、bgp需配置内部路由协议,性能上有损耗3、ingress、nginx道理类似,将需要被外部访问的应用使用这两个组件外部负载进到集群内部4、hostne...显示全部

calico、bgp、ingress、nginx等都是可以的
1、calico将集群内与集群外网络打通,但是随着集群外访问集群内的节点越来越多,运维难度会加大
2、bgp需配置内部路由协议,性能上有损耗
3、ingress、nginx道理类似,将需要被外部访问的应用使用这两个组件外部负载进到集群内部
4、hostnetwork方式
5、nodeport方式
。。。

如何选择要根据自身IT架构及监管要求定了

收起
 2020-03-11
浏览1270

提问者

Dongxin系统架构师, 某银行股份有限公司

问题状态

  • 发布时间:2020-03-10
  • 关注会员:7 人
  • 问题浏览:3039
  • 最近回答:2020-04-01