注册登录
提 问
English中文版
山河已无恙
作者山河已无恙·2022-12-30 10:35
开发工程师·浩鲸科技
关注6

Kubernetes: 通过无头服务(Headless Service)实现客户端负载均衡

字数 14112阅读 1706评论 0赞 1

写在前面

  • 分享一些 K8s 中 Headless Service 的笔记

  • 博文内容涉及：

    • Headless Service 的简单介绍
    • Headless Service 创建
    • 集群内/外 获取 Headless Service对应 Pod 列表的 Demo
  • 理解不足小伙伴帮忙指正

在认识一经出现时，情欲就引退。 -----昂克敌·杜伯隆：《邬布涅伽研究》第二卷第216页 -----《作为意志和表象的世界》

Headless Service 简单介绍

在某些场景中，如果我们希望自己控制 Pod 实例的负载均衡 策略,或者希望直接和 Pod 交互但是又不希望通过端口映射的方式，比如数据库根据情况做一些读写分离，或者一些应用在客户端做流量控制等，不使用 Service 提供的由 Kube-proxy 代理实现的默认负载均衡的功能。希望明确是由那几个 pod 提供能力，即直接通过 Pod 发布服务， 而不是只有一个 集群 IP Cluster IP 或者使用 NodePort、LoadBalancer、ExternalName 来发布服务。

这个时候，K8s 提供了 Headless Service ,即不为 Service 设置 ClusterIP(入口IP地址),也叫 无头服务，这里分两种情况

有选择器

第一种是有对应的服务能力提供者，即通过标签选择器选择了对应的后端能力，比如 pod,deployment,statefulset 等

在这种情况下，会通过Label Selector将被选择的后端 Pod 列表返回给调用的客户端, K8s 不会为这样的 Service 分配任何 IP， DNS 会为这些Service 的 Name 添加一系列的 A(AAA)记录(IP 地址指向)，直接指向后端映射的 Pod。 当然前提是 通过 标签选择器选择到了对应的 pod。Kube-prosy 不会处理这类型的 Service ，没有负载均衡机制也没有请求映射，这里 Endpoint Controller 任然会创建 pod 对应的 Endpoint, 同时 Kubernetes 控制平面会在 Kubernetes API 中创建 EndpointSlice 对象

EndpointSlices 表示针对服务的后端网络端点的子集(切片),这是在 1.21 版本才出现的，提供了一种简单的方法来跟踪 Kubernetes 集群中的网络端点(network endpoints)。EndpointSlices 为 Endpoints 提供了一种可扩缩和可拓展的替代方案。

在 Kubernetes 中，EndpointSlice 包含对一组网络端点的引用。 控制面会自动为设置了选择算符的 Kubernetes Service 创建 EndpointSlice,EndpointSlice 将包含对与 Service 选择算符匹配的所有 Pod 的引用。 EndpointSlice 通过唯一的协议、端口号和 Service 名称将网络端点组织在一起

Headless Service 通过暴露的 Endpoints 列表 应用可以通过编码实现客户端的负载均衡。

没有选择器

第二种是没有对应的服务能力提供者，即没有通过选择运算符来获取当前 集群的能力，这个时候，系统不会创建对应 Endpoint ，也不会创建对应的 EndpointSlice.

这种情况下，DNS 系统会查找和配置以下之一

  • 对于 type: ExternalName 服务，查找和配置其 CNAME 记录
  • 对所有其他类型的服务，针对 Service 的就绪端点的所有 IP 地址，查找和配置 DNS A / AAAA 条记录
  • 对于 IPv4 端点，DNS 系统创建 A 条记录。
  • 对于 IPv6 端点，DNS 系统创建 AAAA 条记录。

Headless Service 创建

定义一个 Service 里面的 ClusterIP 为 None ，并且拥有 Selector 标签选择器，这样的 Service 为 Headlsee Service查看当前 k8s 中是否存在 Headlsee

┌──[root@vms81.liruilongs.github.io]-[~]  
└─$kubectl get svc -A | grep None  
awx                    awx-demo-postgres-13                              ClusterIP   
kube-system            liruilong-kube-prometheus-kubelet                 ClusterIP

一般情况下 SatefulSet 需要 Headless Service 来实现 Pod 的网络的一致性(必须创建此服务)，为客户端返回多个服务端地址。可以看到当前的集群中有两个 Headless Service, 一个是有状态应用(SatefulSet) postgres 数据库创建，一个是搭建 prometheus 集群监控创建的。

┌──[root@vms81.liruilongs.github.io]-[~]  
└─$kubectl get svc awx-demo-postgres-13 -o yaml  
apiVersion: v1  
kind: Service  
metadata:  
 ..................

name: awx-demo-postgres-13  
 namespace: awx  
spec:  
clusterIP: None  
clusterIPs:  
-  None  
internalTrafficPolicy: Cluster  
ipFamilies:  
- IPv4  
ipFamilyPolicy: SingleStack  
ports:  
- port: 5432  
protocol: TCP  
targetPort: 5432  
selector:  
app.kubernetes.io/component: database  
app.kubernetes.io/instance: postgres-13-awx-demo  
app.kubernetes.io/managed-by: awx-operator  
app.kubernetes.io/name: postgres-13  
app.kubernetes.io/part-of: awx-demo  
sessionAffinity: None  
type: ClusterIP  
status:  
loadBalancer: {}

这里我们可以大概的看到一个 Headless 资源文件定义，对这样的 Service 进行访问，得到的就是一个 符合选择器的全部的 Pod 列表，然后客户端去自行的处理这些 Pod 列表。上面的 Service 中，客户端访问 postgres 数据库，会返回符合当前选择器的所有 postgres pod。

下面我们来看几个实际的 Demo

有状态 Headless 服务

对于有状态服务开来讲，需要创建 StatefulSet 为其提供能力，资源文件定义,只是一个 Demo ，所以我们这里没有定义 存储卷相关。

apiVersion: apps/v1  
kind: StatefulSet  
metadata:  
creationTimestamp: null  
labels:  
app: web-headless  
name: web  
spec:  
serviceName: web-headless  
replicas: 3  
selector:  
matchLabels:  
  app: web-headless  
template:  
metadata:  
  creationTimestamp: null  
  labels:  
    app: web-headless  
spec:  
  containers:  
    - image: nginx  
      name: nginx-web  
      ports:  
        - containerPort: 80  
          name: nginx-web  
      resources: {}

通过资源文件创建有状态的 pod

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl get statefulsets.apps web  -o wide  
NAME   READY   AGE   CONTAINERS   IMAGES  
web    3/3     96s   nginx-web    nginx  
┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl get pods -o wide  | grep web*  
web-0                                              1/1     Running   0              2m13s   10.244.217.10    vms155.liruilongs.github.io                
web-1                                              1/1     Running   0              2m11s   10.244.194.67    vms156.liruilongs.github.io                
web-2                                              1/1     Running   0              114s    10.244.217.11    vms155.liruilongs.github.io

之后我们需要创建对应的 Headless Service ,这里需要注意的是 clusterIP: None,选择器：app: web-headless


┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$cat headless.yaml  
apiVersion: v1  
kind: Service  
metadata:  
name: web-headless  
labels:  
app: nginx_headless  
spec:  
ports:  
- port: 30088  
targetPort: 80  
name: nginx-web-headless  
clusterIP: None  
selector:  
app: web-headless

创建对应的 Headless SVC

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl  apply  -f headless.yaml  
service/web-headless configured  
┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl get svc web-headless  
NAME           TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)     AGE  
web-headless   ClusterIP   None                 30088/TCP   24h

可以看到，他对每个 pod 都创建了对应的 Endpoint


┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl describe svc web-headless  
Name:              web-headless  
Namespace:         awx  
Labels:            app=nginx_headless  
Annotations:         
Selector:          app=web-headless  
Type:              ClusterIP  
IP Family Policy:  SingleStack  
IP Families:       IPv4  
IP:                None  
IPs:               None  
Port:              nginx-web-headless  30088/TCP  
TargetPort:        80/TCP  
Endpoints:         10.244.194.67:80,10.244.217.10:80,10.244.217.11:80  
Session Affinity:  None  
Events:

可以通过不同的方式获取 Headless Service 的 Pod 列表。

集群外获取 Headless Service 的 Pod 列表

可以直接通过调用 Rest 接口的 方式获取 Headless 对应的 Endpoints，这里为了方便暴露 Rest 服务，通过 kubectl proxy 做一个内部代理。

┌──[root@vms81.liruilongs.github.io]-[~]  
└─$nohup  kubectl proxy --port=30021 &  
[1] 109103  
┌──[root@vms81.liruilongs.github.io]-[~]  
└─$nohup: 忽略输入并把输出追加到"nohup.out"

测试一下

┌──[root@vms81.liruilongs.github.io]-[~]  
└─$curl http://localhost:30021/api/ -s  
{  
"kind": "APIVersions",  
"versions": [  
"v1"  
  ],  
"serverAddressByClientCIDRs": [  
{  
  "clientCIDR": "0.0.0.0/0",  
  "serverAddress": "192.168.26.81:6443"  
}  
]  
}

对于 1.21 之前的版本获取 endpoins，可以通过 Endpoints的方式获取

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl describe endpoints web-headless  
Name:         web-headless  
Namespace:    awx  
Labels:       app=nginx_headless  
          service.kubernetes.io/headless=  
Annotations:  endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15Z  
Subsets:  
Addresses:          10.244.194.67,10.244.217.10,10.244.217.11  
NotReadyAddresses:    
Ports:  
Name                Port  Protocol  
----                ----  --------  
nginx-web-headless  80    TCP  

Events:

通过 curl 调用对应的 REST 接口

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$curl -s  http://localhost:30021/api/v1/namespaces/awx/endpoints/web-headless  | jq .subsets  
[  
{  
"addresses": [  
  {  
    "ip": "10.244.194.67",  
    "hostname": "web-1",  
    "nodeName": "vms156.liruilongs.github.io",  
    "targetRef": {  
      "kind": "Pod",  
      "namespace": "awx",  
      "name": "web-1",  
      "uid": "d71722db-1c41-44ee-a55d-0042c7d2086e",  
      "resourceVersion": "14843070"  
    }  
  },  
  {  
    "ip": "10.244.217.10",  
    "hostname": "web-0",  
    "nodeName": "vms155.liruilongs.github.io",  
    "targetRef": {  
      "kind": "Pod",  
      "namespace": "awx",  
      "name": "web-0",  
      "uid": "7fa21492-d0f5-4840-8517-a05ed04651a4",  
      "resourceVersion": "14843008"  
    }  
  },  
  {  
    "ip": "10.244.217.11",  
    "hostname": "web-2",  
    "nodeName": "vms155.liruilongs.github.io",  
    "targetRef": {  
      "kind": "Pod",  
      "namespace": "awx",  
      "name": "web-2",  
      "uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27",  
      "resourceVersion": "14843135"  
    }  
  }  
],  
"ports": [  
  {  
    "name": "nginx-web-headless",  
    "port": 80,  
    "protocol": "TCP"  
  }  
]  
}  
]

如果使用的 1.21 以及之后的版本，我们可以通过 EndpointSlicp 来获取对应的 pod 列表

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl describe endpointslices web-headless-888xr  
Name:         web-headless-888xr  
Namespace:    awx  
Labels:       app=nginx_headless  
          endpointslice.kubernetes.io/managed-by=endpointslice-controller.k8s.io  
          kubernetes.io/service-name=web-headless  
          service.kubernetes.io/headless=  
Annotations:  endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15Z  
AddressType:  IPv4  
Ports:  
Name                Port  Protocol  
----                ----  --------
nginx-web-headless  80    TCP  
Endpoints:  
- Addresses:  10.244.217.10  
Conditions:  
  Ready:    true  
Hostname:   web-0  
TargetRef:  Pod/web-0  
NodeName:   vms155.liruilongs.github.io  
Zone:         
- Addresses:  10.244.194.67  
Conditions:  
  Ready:    true  
Hostname:   web-1  
TargetRef:  Pod/web-1  
NodeName:   vms156.liruilongs.github.io  
Zone:         
- Addresses:  10.244.217.11  
Conditions:  
  Ready:    true  
Hostname:   web-2  
TargetRef:  Pod/web-2  
NodeName:   vms155.liruilongs.github.ioweb    
Zone:         
Events:

通过 curl 调用对应的 REST 接口

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$curl -s  http://localhost:30021/apis/discovery.k8s.io/v1/namespaces/awx/endpointslices/web-headless-888xr  | jq .endpoints  
 [  
{  
"addresses": [  
  "10.244.217.10"  
],  
"conditions": {  
  "ready": true,  
  "serving": true,  
  "terminating": false  
},  
"hostname": "web-0",  
"targetRef": {  
  "kind": "Pod",  
  "namespace": "awx",  
  "name": "web-0",  
  "uid": "7fa21492-d0f5-4840-8517-a05ed04651a4",  
  "resourceVersion": "14843008"  
},  
"nodeName": "vms155.liruilongs.github.io"  
},  
{  
"addresses": [  
  "10.244.194.67"  
],  
"conditions": {  
  "ready": true,  
  "serving": true,  
  "terminating": false  
},  
"hostname": "web-1",  
"targetRef": {  
  "kind": "Pod",  
  "namespace": "awx",  
  "name": "web-1",  
  "uid": "d71722db-1c41-44ee-a55d-0042c7d2086e",  
  "resourceVersion": "14843070"  
},  
"nodeName": "vms156.liruilongs.github.io"  
},  
{  
"addresses": [  
  "10.244.217.11"  
],  
"conditions": {  
  "ready": true,  
  "serving": true,  
  "terminating": false  
},  
"hostname": "web-2",  
"targetRef": {  
  "kind": "Pod",  
  "namespace": "awx",  
  "name": "web-2",  
  "uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27",  
  "resourceVersion": "14843135"  
},  
"nodeName": "vms155.liruilongs.github.io"  
}  
]

集群内获取 Headless Service 的 Pod 列表

对于无头服务，客户端可以通过连接到服务的 DNS 名称来连接到其 pod，就像使用常规服务一样，因为 DNS 返回 pod 的 IP，客户端直接连接到 pod，所以不是通过服务代理。这里通过 DNS 解析获取的 Pod 列表，Headless 服务仍然提供跨 Pod 的负载平衡，但这仅仅是通过 DNS 循环机制实现的负载均衡。而不是 sessionAffinity 相关配置

可以通过 对 服务的 DNS 解析来获取 POD 列表。

创建一个测试 Pod

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl run tmp01 --image=tutum/dnsutils -- sleep infinity  
pod/tmp01 created

同一命令空间获取 headless Service 的 Pod 列表

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl exec  tmp01 -it -- /bin/bash  
root@tmp01:/# nslookup web-headless  
Server:         10.96.0.10  
Address:        10.96.0.10#53  

Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.194.67  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.217.10  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.217.11

不同命名空间获取 headless Service 的 Pod 列表

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl exec  tmp01 -it -- /bin/bash  
root@tmp01:/# nslookup web-headless.awx  
Server:         10.96.0.10  
Address:        10.96.0.10#53  

Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.217.11  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.194.67  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.217.10  

root@tmp01:/# nslookup web-headless.awx.svc.cluster.local.  
Server:         10.96.0.10  
Address:        10.96.0.10#53  

Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.217.11  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.194.67  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.217.10

无状态的 Headless 服务

关于无状态的 Headless Service 这里我们也简单介绍，和，有状态的没什么区别，对应的 SVC 还是用之前的 web-headless, 在 StatefulSet 的基础上，我们创建一个 deloyment 提供服务能力

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$cat deploy.yaml  
apiVersion: apps/v1  
kind: Deployment  
metadata:  
creationTimestamp: null  
labels:  
app: web-headless  
name: web  
spec:  
replicas: 3  
selector:  
matchLabels:  
  app: web-headless  
strategy: {}  
template:  
metadata:  
  creationTimestamp: null  
  labels:  
    app: web-headless  
spec:  
  containers:  
  - image: nginx  
    name: nginx-web  
    ports:  
    - containerPort: 80  
      name: nginx-web  
    resources: {}  
status: {}

通过 DNS 获取IP，可以发现，对应的 A 记录增加到 6个

┌──[root@vms81.liruilongs.github.io]-[~/ansible]  
└─$kubectl exec  tmp01 -it -- /bin/bash  
root@tmp01:/# nslookup web-headless.awx  
Server:         10.96.0.10  
Address:        10.96.0.10#53  

Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.194.67  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.217.11  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.217.10  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.194.69  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.194.70  
Name:   web-headless.awx.svc.cluster.local  
Address: 10.244.217.12  

root@tmp01:/# exit  
exit

关于 Headless Service 和小伙伴分享到这里， 通过 无头服务，我们可以通过 Servcie 来动态感知 Pod 副本的变化，监听 Pod 的状态，实现部分分布式集群的动态构建， 同时在有状态应用中都会涉及 Headless Service。

博文参考

https://kubernetes.io/zh-cn/docs/concepts/services-networking/service/#headless-services

https://stackoverflow.com/questions/52707840/what-is-a-headless-service-what-does-it-do-accomplish-and-what-are-some-legiti

https://cloud.tencent.com/developer/article/1638722

https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoints-v1/

https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoint-slice-v1/

Kubernetes
著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

赞1

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

  • 关于Linux下通过ping/mtr 长期监控网络输出日志报告的一些笔记
    评论 1 · 赞 7
  • K8s:如何实现跨集群节点均匀调度分布Pod(Pod拓扑分布约束)
    评论 0 · 赞 4
  • K8s: Windows 下安装 K8s 开源桌面面板工具 OpenLens 查看集群信息
    评论 0 · 赞 2
  • 关于K8s中资源服务质量管理Resource Qos的一些笔记
    评论 0 · 赞 3
  • 关于Linux下HAProxy自动化部署的一些笔记
    评论 0 · 赞 3

    • 相关文章

  • 某银行基于容器云的应用服务架构实践
  • 解读“K8S不支持Docker”
  • 一文搞懂基于 Helm 部署 Prometheus Stack 全家桶
  • 云原生架构实施路线图
  • 【K8S学习一】基于rhel7的k8s+harbor离线安装部署及测试使用全过程

    • 相关问题

  • 400台云主机+ 100台k8s的node，用什么方案监控好呢？ zabbix？prometheus？ 还是两套都上？
  • docker等容器软件与信创或国产操作系统的兼容问题？
  • 信创容器云使用的是哪种网络插件？
  • 当下信创容器云建设能否全面兼容国产硬件？基于K8S生态，国产技术路线是否全面兼容？
  • 国产信创容器云是否与原生的K8S或者Openshift兼容？

    • 相关资料

  • Kubernetes进阶实战（第2版）
  • 973页K8S笔记
  • 2021 容器云职业技能大赛运维技术岗优秀作品——Kubernetes容器安全运维技术
  • 973页Kubernetes笔记
  • 应用上云标准与规范

    • 关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
    © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30

    X社区推广