Eviction 校验
在我们的程序中,我们都是通过走 Eviction API,而不是直接 DELETE 节点;普通的 DELETE 请求通过直接操作 api/v1/namespaces/{ns}/pods/{name} 对一个节点进行无条件删除,而不会经过 PDB 校验。Eviction 请求通过操作 Pod 的子资源 api/v1/namespaces/{ns}/pods/{name}/eviction 对 Pod 驱逐,其专门为受控维设计,在 API Server 收到 Eviction POST 请求的时候,内部的准入控制器会实时查询保护该 Pod 的 PodDisruptionBudget(PDB)
- 如果当前健康副本数在驱逐后依然满足 PDB 的最低要求(如
minAvailable),API Server 批准该请求,并将 Pod 置为删除中; - 如果驱逐该 Pod 会破坏 PDB 的可用性下限,API Server 会直接拒绝该请求,并返回 HTTP 429 Too Many Requests。
预检通过不一定驱逐成功
在代码中我们有两个阶段,预检阶段与动作阶段;在预检阶段时,我们只观察集群中 PDB 状态,在观察到 disruptionsAllowed > 0 才尝试进入动作阶段,此时向集群 pod/<name>/eviction 发起 POST,可能会返回不同的结果
为什么明明预检时看到
disruptionsAllowed > 0,真正发请求时依然可能收到 429?因为读取和提交之间不是原子事务。在微秒级的网络时间差内,可能其他节点的同业务 Pod 刚刚发生故障退出,导致 PDB 预算被瞬间抽干;或者服务端的 PDB 控制器更新 status 存在毫秒级的延迟。因此,预检通过只是拿到了一张“准考证”,真正的裁决权永远在服务端手上。
错误与错误处理
reconciler.go 的 evcitOne 中,每一次驱逐调用的返回都被严格分类
callCtx, cancel := context.WithTimeout(ctx, evictCallTimeout)
defer cancel()
err := r.Evictor.EvictPod(callCtx, d.Evict.Namespace, d.Evict.Name, d.Evict.UID)goerr == nil: API Server明确受理,Phase 保持Draining,将 Reson 置为eviction-request-acceptederrors.IsNotFound(err)(HTTP 404): 表示目标节点已经不存在,此时清空 ActivePod 并重新评估流程errors.IsTooManyRequest(err)(HTTP 429):- 如果错误消息中包含了 PDB 拒绝文本(
isPdbRefusal),将 Reson 设为pdb-budget-exhausted - 如果原因未知,将 Reson 置为
eviction-throttled - 从错误中提取
errors.SuggestsClientDelay(err)(服务器重试间隔),并加上最大上限保护,计算出冷却延迟
- 如果错误消息中包含了 PDB 拒绝文本(
errors.IsForbidden(err)(HTTP 403):控制器 ServiceAccount 缺少在目标命名空间创建pods/eviction的 RBAC 权限。此时将 Phase 置为PhaseBlocked, Reason 置为eviction-forbidden,并且不进行自动重试,上报人工isKnownEvictionMisconfiguration(err)(HTTP 500): 集群中存在多个选择器重叠且产生冲突的 PDB,导致 API Server 计算死锁抛出 500。转为 Blocked 并提示配置错误,交人工修复- 其他错误: 按 Unknown 处理,保留已经保存的 ActivePod,上抛给外部,下一轮重读后再做定夺