imicola 现象
现象

现象

894 字 · 约 2 分钟

在初期版本中,当控制器向 API 发起驱逐被 PDB 拒绝(429)后,API Server 明确通知 “请 120 秒后再重试”,代码中也顺理成章的写了

return ctrl.Result{RequeueAfter: 120 * time.Second}, nil
go

然而,在查看控制器的运行日志的时候,发现了密集的 429 错误返回,在我们的预期之中,本来应该是间隔120的错误现在几毫秒就刷一条

溯源

通过深入 controller-runtime 的底层,我们的控制器在启动的时候,注册了对 MaintenancePlan 的主资源监听:

ctrl.NewControllerManagedBy(mgr).For(&MaintenancePlan{}).Complete(r)
go

这意味着:集群中任何针对 MaintenancePlan 对象的修改(包括对它的 Status 的修改),都会产生一个 Update Event,并通过 Watch 机制推回给本控制器

在我们的一轮调用中,我们的调用关系如下:

  1. 00:00.000:Reconciler 执行驱逐调用,收到 429 报错;
  2. 00:00.010:Reconciler 决定如实向用户报告这一情况,于是调用 r.Status().Update(ctx, plan),将 status 中的 reason 改为 pdb-budget-exhausted;
  3. 00:00.020:Reconciler 执行完毕,向 controller-runtime 返回 ctrl.Result{RequeueAfter: 120s}。框架收到该指示,在内存定时队列中登记:“120 秒后将该 Plan 的 Key 重新放入工作队列”;
  4. 致命的并发在此时发生:步骤 2 中对 Status 的 Update 调用成功,API Server 广播了这一修改事件。控制器的 Watch 模块捕捉到该事件,心想“哎呀!这个 Plan 发生了变化!”于是立刻将该 Plan 的 Key 作为立即就绪任务塞进了工作队列!
  5. 00:00.030:当前这一轮 Reconcile 刚刚释放了该 Key,工作队列发现队首正好躺着刚被 Watch 事件塞进来的同一个 Key,于是秒级派发下一轮 Reconcile!
  6. 00:00.040:新一轮 Reconcile 启动,重新读事实,发现节点上旧 Pod 还在,于是再次进入 evictOne,轰出下一发驱逐请求!

所以说RequeueAfter 只是在内存中挂了一个稍后入队的闹钟。但只要你在本轮写了 status,产生的实时事件就会瞬间把同一个任务踢醒

尝试解决

解决这个方法一个显然的逻辑是在 CRD 中添加一个 NextActionAt 持久化一个绝对时间戳:

NextActionAt = CurrentTime + Delay
go

整个机制的运转策略如下:

  1. 调用前先落保底门:在真正发出 EvictPod 调用前,先在 status 中保存一个基础冷却时间(如 now + 10s),成功落盘后再发起调用。这样即使进程在发出网络包后瞬间崩溃,重启后的新进程也能看到这道门,不会立刻发起重试;
  2. 收到 429 后更新绝对时刻:当收到 429 且服务端给出 120 秒建议时,计算出绝对时刻(例如 10:02:00),更新并持久化到 etcd;
  3. 提前唤醒时被冷却门挡住:此时即使 Watch 事件在 1 秒后又把控制器踢醒,控制器读出 nextActionAt = 10:02:00,拿当前时间一比对,发现“距离冷却结束还有 119 秒”。此时控制器直接放弃调用,平静地返回剩余等待时间 ctrl.Result{RequeueAfter: 119s},绝不发出任何网络请求!
  4. 跨进程重启完美自愈:如果控制器中途挂掉,50 秒后新进程启动,读到 nextActionAt = 10:02:00,依然能精确算出还需等待 70 秒,绝对不会把 120 秒倒计时清零重新来过,更不会产生任何多余请求。

这套机制在我们的 reconciler.go 中,我们的代码结构具有严格的先后顺序:

// 先走全面的事实判断!
d := DecideDrain(plan, &f, now)

// 只有当业务决策明确要求“发起一次新驱逐动作 (ActionEvict)”时,冷却门才生效!
if d.Action == ActionEvict {
    next := plan.Status.EvictionProgress.NextActionAt
    if next != nil && now.Before(next.Time) {
        // 门只拦住“鲁莽的新动作”,绝不拦住“对已发生事实的汇报”
        return ctrl.Result{
            RequeueAfter: next.Time.Sub(now),
        }, nil
    }
    return r.evictOne(ctx, l, plan, d)
}
go

冷却门管辖的是“动作的准入”,绝不能干涉“事实的认知”