关于K8s中Headless Service的一些笔记整理
写在前面
- 分享一些
K8s中Headless Service的笔记 - 博文内容涉及：
- 理解不足小伙伴帮忙指正
在认识一经出现时，情欲就引退。 -----昂克敌·杜伯隆：《邬布涅伽研究》第二卷第216页 -----《作为意志和表象的世界》
Headless Service 简单介绍
在某些场景中，如果我们希望自己控制 Pod 实例的负载均衡 策略,或者希望直接和 Pod 交互但是又不希望通过端口映射的方式，比如数据库根据情况做一些读写分离，或者一些应用在客户端做流量控制等，不使用 Service 提供的由 Kube-proxy 代理实现的默认负载均衡的功能。希望明确是由那几个 pod 提供能力，即直接通过 Pod 发布服务， 而不是只有一个 集群 IP Cluster IP 或者使用 NodePort、LoadBalancer、ExternalName 来发布服务。
这个时候，K8s 提供了 Headless Service ,即不为 Service 设置 ClusterIP(入口IP地址),也叫 无头服务，这里分两种情况
有选择器
第一种是有对应的服务能力提供者，即通过标签选择器选择了对应的后端能力，比如 pod,deployment,statefulset 等
在这种情况下，会通过Label Selector将被选择的后端 Pod 列表返回给调用的客户端, K8s 不会为这样的 Service 分配任何 IP， DNS 会为这些Service 的 Name 添加一系列的 A(AAA)记录(IP 地址指向)，直接指向后端映射的 Pod。 当然前提是 通过 标签选择器选择到了对应的 pod。
Kube-prosy 不会处理这类型的 Service ，没有负载均衡机制也没有请求映射，这里 Endpoint Controller 任然会创建 pod 对应的 Endpoint , 同时 Kubernetes 控制平面会在 Kubernetes API 中创建 EndpointSlice 对象
EndpointSlices 表示针对服务的后端网络端点的子集(切片),这是在 1.21 版本才出现的，提供了一种简单的方法来跟踪 Kubernetes 集群中的网络端点(network endpoints)。EndpointSlices 为 Endpoints 提供了一种可扩缩和可拓展的替代方案。
在 Kubernetes 中，EndpointSlice 包含对一组网络端点的引用。 控制面会自动为设置了选择算符的 Kubernetes Service 创建 EndpointSlice,EndpointSlice 将包含对与 Service 选择算符匹配的所有 Pod 的引用。 EndpointSlice 通过唯一的协议、端口号和 Service 名称将网络端点组织在一起
Headless Service 通过暴露的 Endpoints 列表 应用可以通过编码实现客户端的负载均衡。
没有选择器
第二种是没有对应的服务能力提供者，即没有通过选择运算符来获取当前 集群的能力，这个时候，系统不会创建对应 Endpoint ，也不会创建对应的 EndpointSlice.
这种情况下，DNS 系统会查找和配置以下之一
- 对于
type: ExternalName服务，查找和配置其CNAME记录 - 对所有其他类型的服务，针对
Service的就绪端点的所有 IP 地址，查找和配置 DNS A / AAAA 条记录 - 对于 IPv4 端点，DNS 系统创建 A 条记录。
- 对于 IPv6 端点，DNS 系统创建 AAAA 条记录。
Headless Service 创建
定义一个 Service 里面的 ClusterIP 为 None ，并且拥有 Selector 标签选择器，这样的 Service 为 Headlsee Service
查看当前 k8s 中是否存在 Headlsee
┌──[root@vms81.liruilongs.github.io]-[~]└─$kubectl get svc -A | grep Noneawx awx-demo-postgres-13 ClusterIP None <none> 5432/TCP 52dkube-system liruilong-kube-prometheus-kubelet ClusterIP None <none> 10250/TCP,10255/TCP,4194/TCP 324d一般情况下 SatefulSet 需要 Headless Service 来实现 Pod 的网络的一致性(必须创建此服务)，为客户端返回多个服务端地址。可以看到当前的集群中有两个 Headless Service, 一个是有状态应用(SatefulSet) postgres 数据库创建，一个是搭建 prometheus 集群监控创建的。
┌──[root@vms81.liruilongs.github.io]-[~]└─$kubectl get svc awx-demo-postgres-13 -o yamlapiVersion: v1kind: Servicemetadata: .................. name: awx-demo-postgres-13 namespace: awxspec: clusterIP: None clusterIPs: - None internalTrafficPolicy: Cluster ipFamilies: - IPv4 ipFamilyPolicy: SingleStack ports: - port: 5432 protocol: TCP targetPort: 5432 selector: app.kubernetes.io/component: database app.kubernetes.io/instance: postgres-13-awx-demo app.kubernetes.io/managed-by: awx-operator app.kubernetes.io/name: postgres-13 app.kubernetes.io/part-of: awx-demo sessionAffinity: None type: ClusterIPstatus: loadBalancer: {}这里我们可以大概的看到一个 Headless 资源文件定义，对这样的 Service 进行访问，得到的就是一个 符合选择器的全部的 Pod 列表，然后客户端去自行的处理这些 Pod 列表。上面的 Service 中，客户端访问 postgres 数据库，会返回符合当前选择器的所有 postgres pod。
下面我们来看几个实际的 Demo
有状态 Headless 服务
对于有状态服务开来讲，需要创建 StatefulSet 为其提供能力，资源文件定义,只是一个 Demo ，所以我们这里没有定义 存储卷相关。
apiVersion: apps/v1kind: StatefulSetmetadata: creationTimestamp: null labels: app: web-headless name: webspec: serviceName: web-headless replicas: 3 selector: matchLabels: app: web-headless template: metadata: creationTimestamp: null labels: app: web-headless spec: containers: - image: nginx name: nginx-web ports: - containerPort: 80name: nginx-web resources: {}通过资源文件创建有状态的 pod
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl get statefulsets.apps web -o wideNAME READY AGE CONTAINERS IMAGESweb 3/3 96s nginx-web nginx┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl get pods -o wide | grep web*web-0 1/1 Running 02m13s 10.244.217.10 vms155.liruilongs.github.io <none> <none>web-1 1/1 Running 02m11s 10.244.194.67 vms156.liruilongs.github.io <none> <none>web-2 1/1 Running 0114s 10.244.217.11 vms155.liruilongs.github.io <none> <none>之后我们需要创建对应的 Headless Service ,这里需要注意的是 clusterIP: None,选择器：app: web-headless
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$cat headless.yamlapiVersion: v1kind: Servicemetadata: name: web-headless labels: app: nginx_headlessspec: ports: - port: 30088 targetPort: 80 name: nginx-web-headless clusterIP: None selector: app: web-headless创建对应的 Headless SVC
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl apply -f headless.yamlservice/web-headless configured┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl get svc web-headlessNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGEweb-headless ClusterIP None <none> 30088/TCP 24h可以看到，他对每个 pod 都创建了对应的 Endpoint
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl describe svc web-headlessName:web-headlessNamespace: awxLabels: app=nginx_headlessAnnotations:<none>Selector: app=web-headlessType:ClusterIPIP Family Policy: SingleStackIP Families:IPv4IP: NoneIPs: NonePort:nginx-web-headless 30088/TCPTargetPort: 80/TCPEndpoints: 10.244.194.67:80,10.244.217.10:80,10.244.217.11:80Session Affinity: NoneEvents: <none>可以通过不同的方式获取 Headless Service 的 Pod 列表。
集群外获取 Headless Service 的 Pod 列表
可以直接通过调用 Rest 接口的 方式获取 Headless 对应的 Endpoints，这里为了方便暴露 Rest 服务，通过 kubectl proxy 做一个内部代理。
┌──[root@vms81.liruilongs.github.io]-[~]└─$nohup kubectl proxy --port=30021 &[1] 109103┌──[root@vms81.liruilongs.github.io]-[~]└─$nohup: 忽略输入并把输出追加到"nohup.out"测试一下
┌──[root@vms81.liruilongs.github.io]-[~]└─$curl http://localhost:30021/api/ -s{ "kind": "APIVersions", "versions": [ "v1" ], "serverAddressByClientCIDRs": [ { "clientCIDR": "0.0.0.0/0", "serverAddress": "192.168.26.81:6443" } ]}对于 1.21 之前的版本获取 endpoins，可以通过 Endpoints的方式获取
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl describe endpoints web-headlessName: web-headlessNamespace: awxLabels:app=nginx_headlessservice.kubernetes.io/headless=Annotations: endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15ZSubsets: Addresses: 10.244.194.67,10.244.217.10,10.244.217.11 NotReadyAddresses: <none> Ports: Name Port Protocol ---- ---- -------- nginx-web-headless 80 TCPEvents: <none>通过 curl 调用对应的 REST 接口
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$curl -s http://localhost:30021/api/v1/namespaces/awx/endpoints/web-headless | jq .subsets[ { "addresses": [ { "ip": "10.244.194.67", "hostname": "web-1", "nodeName": "vms156.liruilongs.github.io", "targetRef": { "kind": "Pod", "namespace": "awx", "name": "web-1", "uid": "d71722db-1c41-44ee-a55d-0042c7d2086e", "resourceVersion": "14843070" } }, { "ip": "10.244.217.10", "hostname": "web-0", "nodeName": "vms155.liruilongs.github.io", "targetRef": { "kind": "Pod", "namespace": "awx", "name": "web-0", "uid": "7fa21492-d0f5-4840-8517-a05ed04651a4", "resourceVersion": "14843008" } }, { "ip": "10.244.217.11", "hostname": "web-2", "nodeName": "vms155.liruilongs.github.io", "targetRef": { "kind": "Pod", "namespace": "awx", "name": "web-2", "uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27", "resourceVersion": "14843135" } } ], "ports": [ { "name": "nginx-web-headless", "port": 80, "protocol": "TCP" } ] }]如果使用的 1.21 以及之后的版本，我们可以通过 EndpointSlicp 来获取对应的 pod 列表
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl describe endpointslices web-headless-888xrName: web-headless-888xrNamespace: awxLabels:app=nginx_headlessendpointslice.kubernetes.io/managed-by=endpointslice-controller.k8s.iokubernetes.io/service-name=web-headlessservice.kubernetes.io/headless=Annotations: endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15ZAddressType: IPv4Ports: Name Port Protocol ---- ---- -------- nginx-web-headless 80 TCPEndpoints: - Addresses: 10.244.217.10 Conditions: Ready: true Hostname: web-0 TargetRef: Pod/web-0 NodeName: vms155.liruilongs.github.io Zone:<unset> - Addresses: 10.244.194.67 Conditions: Ready: true Hostname: web-1 TargetRef: Pod/web-1 NodeName: vms156.liruilongs.github.io Zone:<unset> - Addresses: 10.244.217.11 Conditions: Ready: true Hostname: web-2 TargetRef: Pod/web-2 NodeName: vms155.liruilongs.github.ioweb Zone:<unset>Events: <none>通过 curl 调用对应的 REST 接口
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$curl -s http://localhost:30021/apis/discovery.k8s.io/v1/namespaces/awx/endpointslices/web-headless-888xr | jq .endpoints[ { "addresses": [ "10.244.217.10" ], "conditions": { "ready": true, "serving": true, "terminating": false }, "hostname": "web-0", "targetRef": { "kind": "Pod", "namespace": "awx", "name": "web-0", "uid": "7fa21492-d0f5-4840-8517-a05ed04651a4", "resourceVersion": "14843008" }, "nodeName": "vms155.liruilongs.github.io" }, { "addresses": [ "10.244.194.67" ], "conditions": { "ready": true, "serving": true, "terminating": false }, "hostname": "web-1", "targetRef": { "kind": "Pod", "namespace": "awx", "name": "web-1", "uid": "d71722db-1c41-44ee-a55d-0042c7d2086e", "resourceVersion": "14843070" }, "nodeName": "vms156.liruilongs.github.io" }, { "addresses": [ "10.244.217.11" ], "conditions": { "ready": true, "serving": true, "terminating": false }, "hostname": "web-2", "targetRef": { "kind": "Pod", "namespace": "awx", "name": "web-2", "uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27", "resourceVersion": "14843135" }, "nodeName": "vms155.liruilongs.github.io" }]集群内获取 Headless Service 的 Pod 列表
对于无头服务，客户端可以通过连接到服务的 DNS 名称来连接到其 pod，就像使用常规服务一样，因为 DNS 返回 pod 的 IP，客户端直接连接到 pod，所以不是通过服务代理。这里通过 DNS 解析获取的 Pod 列表，Headless 服务仍然提供跨 Pod 的负载平衡，但这仅仅是通过 DNS 循环机制实现的负载均衡。而不是 sessionAffinity 相关配置
可以通过 对 服务的 DNS 解析来获取 POD 列表。
创建一个测试 Pod
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl run tmp01 --image=tutum/dnsutils -- sleep infinitypod/tmp01 created同一命令空间获取 headless Service 的 Pod 列表
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl exec tmp01 -it -- /bin/bashroot@tmp01:/# nslookup web-headlessServer: 10.96.0.10Address: 10.96.0.10#53Name: web-headless.awx.svc.cluster.localAddress: 10.244.194.67Name: web-headless.awx.svc.cluster.localAddress: 10.244.217.10Name: web-headless.awx.svc.cluster.localAddress: 10.244.217.11不同命名空间获取 headless Service 的 Pod 列表
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl exec tmp01 -it -- /bin/bashroot@tmp01:/# nslookup web-headless.awxServer: 10.96.0.10Address: 10.96.0.10#53Name: web-headless.awx.svc.cluster.localAddress: 10.244.217.11Name: web-headless.awx.svc.cluster.localAddress: 10.244.194.67Name: web-headless.awx.svc.cluster.localAddress: 10.244.217.10root@tmp01:/# nslookup web-headless.awx.svc.cluster.local.Server: 10.96.0.10Address: 10.96.0.10#53Name: web-headless.awx.svc.cluster.localAddress: 10.244.217.11Name: web-headless.awx.svc.cluster.localAddress: 10.244.194.67Name: web-headless.awx.svc.cluster.localAddress: 10.244.217.10无状态的 Headless 服务
关于无状态的 Headless Service 这里我们也简单介绍，和，有状态的没什么区别，对应的 SVC 还是用之前的 web-headless, 在 StatefulSet 的基础上，我们创建一个 deloyment 提供服务能力
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$cat deploy.yamlapiVersion: apps/v1kind: Deploymentmetadata: creationTimestamp: null labels: app: web-headless name: webspec: replicas: 3 selector: matchLabels: app: web-headless strategy: {} template: metadata: creationTimestamp: null labels: app: web-headless spec: containers: - image: nginx name: nginx-web ports: - containerPort: 80 name: nginx-web resources: {}status: {}通过 DNS 获取IP，可以发现，对应的 A 记录增加到 6个
┌──[root@vms81.liruilongs.github.io]-[~/ansible]└─$kubectl exec tmp01 -it -- /bin/bashroot@tmp01:/# nslookup web-headless.awxServer: 10.96.0.10Address: 10.96.0.10#53Name: web-headless.awx.svc.cluster.localAddress: 10.244.194.67Name: web-headless.awx.svc.cluster.localAddress: 10.244.217.11Name: web-headless.awx.svc.cluster.localAddress: 10.244.217.10Name: web-headless.awx.svc.cluster.localAddress: 10.244.194.69Name: web-headless.awx.svc.cluster.localAddress: 10.244.194.70Name: web-headless.awx.svc.cluster.localAddress: 10.244.217.12root@tmp01:/# exitexit关于 Headless Service 和小伙伴分享到这里， 通过 无头服务，我们可以通过 Servcie 来动态感知 Pod 副本的变化，监听 Pod 的状态，实现部分分布式集群的动态构建， 同时在有状态应用中都会涉及 Headless Service。
博文参考
https://kubernetes.io/zh-cn/docs/concepts/services-networking/service/#headless-services
https://stackoverflow.com/questions/52707840/what-is-a-headless-service-what-does-it-do-accomplish-and-what-are-some-legiti
https://cloud.tencent.com/developer/article/1638722
https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoints-v1/
https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoint-slice-v1/