2.从读Fact到Cordon
核心协调器 reconciler.go 中,第一步就是调用 facts.go 的 ReadFacts
facts, err := ReadFacts(ctx, r.Client, plan.DeepCopy())
if err != nil {
return ctrl.Result{}, err
}go失败就立刻重试,例如当 API Server 因为网络抖动或者临时超时导致 List Pod 失败,此时我们的控制器应该原样上抛错误,而不能当作默认值进行处理
在观察获取目标节点 Fact 的时候,必须跨所有命名空间扫描 Pod ,这是因为我们不能确定节点其他的命名空间中是否存在其他未知业务的 Pod,如果贸然维护可能会引起未授权的业务中断
当我们关注 Deployment 时候,这是在命名空间中按 Label Selector 圈选出候选 Pod,再沿着所有链逐级向上核验
只有当每一级UID核验都通过的时候,才能确定亲缘关系
在进行 cordon 的时候,也有一些设计来防止并发篡改
- 提交前现读核验: 在准备写 Node 之前,再次从 API Server 读取 Node 的最新状态,核验其 UID 是否依然匹配、是否已被其它未知流程修改
- 原子写入所有权注解: 在
cordon.go中,控制器在将node.Spec.Unschedulable = true的同时,将当前 Plan 的 UID 写入注解:MarkerAnnotation = "maintenance.studymate.io/cordon-plan-uid",此时设为不可调度与记录是谁封锁了这个节点就被合并在了一次针对 Node 的 Update 调用封装中,这样也就降低了 「节点被封锁但是记录没来得及标记」 的中间窗口
如果节点早已被其他的运维系统封锁,则控制器会报告节点被占用并且等待人工确认,而不是自行继续驱逐排空