imicola Eviction 校验
Eviction 校验

Eviction 校验

693 字 · 约 2 分钟

在我们的程序中,我们都是通过走 Eviction API,而不是直接 DELETE 节点;普通的 DELETE 请求通过直接操作 api/v1/namespaces/{ns}/pods/{name} 对一个节点进行无条件删除,而不会经过 PDB 校验。Eviction 请求通过操作 Pod 的子资源 api/v1/namespaces/{ns}/pods/{name}/eviction 对 Pod 驱逐,其专门为受控维设计,在 API Server 收到 Eviction POST 请求的时候,内部的准入控制器会实时查询保护该 Pod 的 PodDisruptionBudget(PDB)

  • 如果当前健康副本数在驱逐后依然满足 PDB 的最低要求(如 minAvailable),API Server 批准该请求,并将 Pod 置为删除中;
  • 如果驱逐该 Pod 会破坏 PDB 的可用性下限,API Server 会直接拒绝该请求,并返回 HTTP 429 Too Many Requests。

预检通过不一定驱逐成功

在代码中我们有两个阶段,预检阶段与动作阶段;在预检阶段时,我们只观察集群中 PDB 状态,在观察到 disruptionsAllowed > 0 才尝试进入动作阶段,此时向集群 pod/<name>/eviction 发起 POST,可能会返回不同的结果

为什么明明预检时看到 disruptionsAllowed > 0,真正发请求时依然可能收到 429?

因为读取和提交之间不是原子事务。在微秒级的网络时间差内,可能其他节点的同业务 Pod 刚刚发生故障退出,导致 PDB 预算被瞬间抽干;或者服务端的 PDB 控制器更新 status 存在毫秒级的延迟。因此,预检通过只是拿到了一张“准考证”,真正的裁决权永远在服务端手上。

错误与错误处理

reconciler.go 的 evcitOne 中,每一次驱逐调用的返回都被严格分类

callCtx, cancel := context.WithTimeout(ctx, evictCallTimeout)
defer cancel()

err := r.Evictor.EvictPod(callCtx, d.Evict.Namespace, d.Evict.Name, d.Evict.UID)
go
  1. err == nil: API Server明确受理,Phase 保持 Draining,将 Reson 置为 eviction-request-accepted
  2. errors.IsNotFound(err)(HTTP 404): 表示目标节点已经不存在,此时清空 ActivePod 并重新评估流程
  3. errors.IsTooManyRequest(err)(HTTP 429):
    • 如果错误消息中包含了 PDB 拒绝文本(isPdbRefusal),将 Reson 设为 pdb-budget-exhausted
    • 如果原因未知,将 Reson 置为 eviction-throttled
    • 从错误中提取 errors.SuggestsClientDelay(err) (服务器重试间隔),并加上最大上限保护,计算出冷却延迟
  4. errors.IsForbidden(err) (HTTP 403):控制器 ServiceAccount 缺少在目标命名空间创建 pods/eviction 的 RBAC 权限。此时将 Phase 置为 PhaseBlocked, Reason 置为 eviction-forbidden ,并且不进行自动重试,上报人工
  5. isKnownEvictionMisconfiguration(err)(HTTP 500): 集群中存在多个选择器重叠且产生冲突的 PDB,导致 API Server 计算死锁抛出 500。转为 Blocked 并提示配置错误,交人工修复
  6. 其他错误: 按 Unknown 处理,保留已经保存的 ActivePod,上抛给外部,下一轮重读后再做定夺