现象
在初期版本中,当控制器向 API 发起驱逐被 PDB 拒绝(429)后,API Server 明确通知 “请 120 秒后再重试”,代码中也顺理成章的写了
return ctrl.Result{RequeueAfter: 120 * time.Second}, nilgo然而,在查看控制器的运行日志的时候,发现了密集的 429 错误返回,在我们的预期之中,本来应该是间隔120的错误现在几毫秒就刷一条
溯源
通过深入 controller-runtime 的底层,我们的控制器在启动的时候,注册了对 MaintenancePlan 的主资源监听:
ctrl.NewControllerManagedBy(mgr).For(&MaintenancePlan{}).Complete(r)go这意味着:集群中任何针对 MaintenancePlan 对象的修改(包括对它的 Status 的修改),都会产生一个 Update Event,并通过 Watch 机制推回给本控制器
在我们的一轮调用中,我们的调用关系如下:
- 00:00.000:Reconciler 执行驱逐调用,收到 429 报错;
- 00:00.010:Reconciler 决定如实向用户报告这一情况,于是调用
r.Status().Update(ctx, plan),将 status 中的 reason 改为pdb-budget-exhausted;- 00:00.020:Reconciler 执行完毕,向 controller-runtime 返回
ctrl.Result{RequeueAfter: 120s}。框架收到该指示,在内存定时队列中登记:“120 秒后将该 Plan 的 Key 重新放入工作队列”;- 致命的并发在此时发生:步骤 2 中对 Status 的 Update 调用成功,API Server 广播了这一修改事件。控制器的 Watch 模块捕捉到该事件,心想“哎呀!这个 Plan 发生了变化!”于是立刻将该 Plan 的 Key 作为立即就绪任务塞进了工作队列!
- 00:00.030:当前这一轮 Reconcile 刚刚释放了该 Key,工作队列发现队首正好躺着刚被 Watch 事件塞进来的同一个 Key,于是秒级派发下一轮 Reconcile!
- 00:00.040:新一轮 Reconcile 启动,重新读事实,发现节点上旧 Pod 还在,于是再次进入
evictOne,轰出下一发驱逐请求!
所以说RequeueAfter 只是在内存中挂了一个稍后入队的闹钟。但只要你在本轮写了 status,产生的实时事件就会瞬间把同一个任务踢醒
尝试解决
解决这个方法一个显然的逻辑是在 CRD 中添加一个 NextActionAt 持久化一个绝对时间戳:
NextActionAt = CurrentTime + Delaygo整个机制的运转策略如下:
- 调用前先落保底门:在真正发出
EvictPod调用前,先在 status 中保存一个基础冷却时间(如now + 10s),成功落盘后再发起调用。这样即使进程在发出网络包后瞬间崩溃,重启后的新进程也能看到这道门,不会立刻发起重试; - 收到 429 后更新绝对时刻:当收到 429 且服务端给出 120 秒建议时,计算出绝对时刻(例如
10:02:00),更新并持久化到 etcd; - 提前唤醒时被冷却门挡住:此时即使 Watch 事件在 1 秒后又把控制器踢醒,控制器读出
nextActionAt = 10:02:00,拿当前时间一比对,发现“距离冷却结束还有 119 秒”。此时控制器直接放弃调用,平静地返回剩余等待时间ctrl.Result{RequeueAfter: 119s},绝不发出任何网络请求! - 跨进程重启完美自愈:如果控制器中途挂掉,50 秒后新进程启动,读到
nextActionAt = 10:02:00,依然能精确算出还需等待 70 秒,绝对不会把 120 秒倒计时清零重新来过,更不会产生任何多余请求。
这套机制在我们的 reconciler.go 中,我们的代码结构具有严格的先后顺序:
// 先走全面的事实判断!
d := DecideDrain(plan, &f, now)
// 只有当业务决策明确要求“发起一次新驱逐动作 (ActionEvict)”时,冷却门才生效!
if d.Action == ActionEvict {
next := plan.Status.EvictionProgress.NextActionAt
if next != nil && now.Before(next.Time) {
// 门只拦住“鲁莽的新动作”,绝不拦住“对已发生事实的汇报”
return ctrl.Result{
RequeueAfter: next.Time.Sub(now),
}, nil
}
return r.evictOne(ctx, l, plan, d)
}go冷却门管辖的是“动作的准入”,绝不能干涉“事实的认知”