如何解决Azure AKS中Calico控制器重复容忍标签问题：完整指南

【免费下载链接】AKS Azure Kubernetes Service 项目地址: https://gitcode.com/gh_mirrors/ak/AKS

在Azure Kubernetes Service（AKS）集群中，Calico网络策略控制器是保障容器网络安全的关键组件。然而，许多用户在实际部署中会遇到一个常见但棘手的问题：Calico控制器重复容忍标签配置错误。这个问题不仅影响Pod调度效率，还可能导致网络策略无法正常工作。本文将深入解析这个问题的根源，并提供完整的解决方案。

什么是Calico控制器重复容忍标签问题？ 🤔

在AKS集群中，Calico作为网络策略引擎，其核心组件（如calico-node和calico-typha）以DaemonSet形式部署在每个节点上。这些组件需要正确的容忍度（tolerations）配置，以确保它们能够被调度到带有特定污点（taints）的节点上。

重复容忍标签问题指的是Calico组件配置中存在重复或冲突的容忍度定义，这会导致：

1. 调度冲突：Calico Pod可能无法正确调度到所有节点
2. 网络策略失效：部分节点的网络策略可能无法正确应用
3. 集群不稳定：节点重启或升级时可能出现网络中断

根据AKS的CHANGELOG.md记录，这个问题在GitHub Issue #4282中被报告并修复。修复内容明确指出："Fix bug https://github.com/Azure/AKS/issues/4282 to remove duplicated toleration from Calico components."

问题根源分析 🔍

容忍度与污点的基本概念

在Kubernetes中，**污点（Taints）和容忍度（Tolerations）**共同工作来控制Pod的调度：

• 污点：节点属性，阻止某些Pod被调度到该节点
• 容忍度：Pod属性，允许Pod被调度到带有匹配污点的节点上

Calico组件通常需要容忍以下类型的污点：

• node.kubernetes.io/not-ready
• node.kubernetes.io/unreachable
• node.kubernetes.io/disk-pressure
• node.kubernetes.io/memory-pressure
• node.kubernetes.io/pid-pressure
• node.kubernetes.io/network-unavailable
• node.kubernetes.io/unschedulable

重复容忍标签的具体表现

当Calico控制器配置中存在重复容忍标签时，你会看到类似以下症状：

1. Calico Pod处于Pending状态：部分节点的Calico Pod无法启动
2. 网络策略不生效：某些节点的网络流量不受Calico策略控制
3. 事件日志中的调度错误：kube-scheduler报告容忍度冲突

图：AKS中外部流量策略的工作机制，Calico作为网络策略引擎在其中扮演关键角色

问题诊断步骤 🩺

1. 检查Calico组件状态

首先，检查Calico相关Pod的状态：

kubectl get pods -n kube-system -l k8s-app=calico-node
kubectl get pods -n kube-system -l k8s-app=calico-typha

2. 查看DaemonSet配置

检查Calico DaemonSet的容忍度配置：

kubectl get daemonset calico-node -n kube-system -o yaml | grep -A 10 tolerations

3. 分析调度事件

查看调度相关的事件日志：

kubectl describe pod <calico-pod-name> -n kube-system
kubectl get events -n kube-system --field-selector involvedObject.name=<calico-pod-name>

解决方案 📋

方案一：更新AKS集群版本

最简单的解决方案是升级到修复了该问题的AKS版本。根据CHANGELOG.md记录，这个问题已经在特定版本中得到修复：

# 检查当前AKS版本
az aks show --resource-group myResourceGroup --name myAKSCluster --query kubernetesVersion

# 升级到最新版本
az aks upgrade --resource-group myResourceGroup --name myAKSCluster --kubernetes-version <latest-version>

方案二：手动修复容忍度配置

如果无法立即升级，可以手动修复Calico组件的容忍度配置：

1. 导出当前配置：

kubectl get daemonset calico-node -n kube-system -o yaml > calico-node-backup.yaml

2. 清理重复容忍度： 编辑配置文件，确保tolerations部分没有重复项。正确的配置应该类似：

tolerations:
  - key: CriticalAddonsOnly
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/not-ready
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/unreachable
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/disk-pressure
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/memory-pressure
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/pid-pressure
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/network-unavailable
    operator: Exists
  - effect: NoSchedule
    key: node.kubernetes.io/unschedulable
    operator: Exists

3. 应用修复后的配置：

kubectl apply -f calico-node-fixed.yaml

方案三：使用AKS维护工具

对于生产环境，建议使用AKS的维护窗口和自动修复功能：

# 配置维护窗口
az aks maintenanceconfiguration add \
  --resource-group myResourceGroup \
  --name myAKSCluster \
  --config-name calico-fix \
  --weekday Monday \
  --start-hour 2 \
  --interval-weeks 1

# 启用自动节点映像升级
az aks update \
  --resource-group myResourceGroup \
  --name myAKSCluster \
  --auto-upgrade-channel stable

图：AKS中Pod的分布情况，正确的容忍度配置确保Calico组件能够调度到所有节点

预防措施 🛡️

1. 定期检查配置

建立定期检查机制，监控Calico组件的配置状态：

# 创建监控脚本
cat > monitor-calico-tolerations.sh << 'EOF'
#!/bin/bash
echo "Checking Calico tolerations..."
kubectl get daemonset calico-node -n kube-system -o jsonpath='{.spec.template.spec.tolerations}' | jq '.'
echo ""
echo "Checking node taints..."
kubectl get nodes -o jsonpath='{range .items[*]}{.metadata.name}{"\t"}{.spec.taints}{"\n"}{end}'
EOF

2. 使用配置验证工具

利用Kubernetes的准入控制器验证配置：

apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingWebhookConfiguration
metadata:
  name: calico-toleration-validator
webhooks:
  - name: calico-toleration.validator.aks.io
    rules:
      - apiGroups: ["apps"]
        apiVersions: ["v1"]
        operations: ["CREATE", "UPDATE"]
        resources: ["daemonsets"]
        scope: "Namespaced"

3. 实施GitOps工作流

通过GitOps管理Calico配置，确保所有变更都经过代码审查：

# 在Git仓库中管理Calico配置
apiVersion: kustomize.toolkit.fluxcd.io/v1
kind: Kustomization
metadata:
  name: calico-config
  namespace: flux-system
spec:
  interval: 10m
  path: ./clusters/production/calico
  prune: true
  sourceRef:
    kind: GitRepository
    name: aks-config

最佳实践建议 ✨

1. 保持AKS版本更新

定期升级AKS集群到最新稳定版本，确保获得所有安全修复和功能改进。AKS团队在CHANGELOG.md中详细记录了每个版本的修复内容。

2. 监控网络策略状态

使用AKS内置的监控工具监控Calico网络策略的状态：

# 检查网络策略生效情况
kubectl get networkpolicies --all-namespaces
kubectl describe networkpolicy <policy-name> -n <namespace>

3. 测试升级前验证

在进行AKS升级前，始终在测试环境中验证Calico配置：

# 创建测试集群
az aks create \
  --resource-group test-rg \
  --name test-cluster \
  --node-count 1 \
  --network-policy calico

# 验证Calico配置
az aks get-upgrades --resource-group test-rg --name test-cluster

4. 利用AKS诊断工具

AKS提供了强大的诊断工具来识别配置问题：

# 运行AKS诊断
az aks diagnostics run \
  --resource-group myResourceGroup \
  --name myAKSCluster \
  --diagnostic-interval 30

# 查看诊断结果
az aks diagnostics results \
  --resource-group myResourceGroup \
  --name myAKSCluster

故障排除指南 🚨

常见问题与解决方案

1. 问题：Calico Pod无法调度到新节点

   • 原因：容忍度配置不匹配节点污点
   • 解决：检查节点污点并更新Calico容忍度

2. 问题：网络策略在某些节点不生效

   • 原因：Calico组件未在所有节点运行
   • 解决：验证DaemonSet配置和节点选择器

3. 问题：集群升级后网络中断

   • 原因：Calico版本与Kubernetes版本不兼容
   • 解决：参考AKS发布说明进行兼容性检查

紧急恢复步骤

如果遇到严重的网络问题，可以按以下步骤恢复：

1. 临时禁用网络策略：

kubectl patch daemonset calico-node -n kube-system \
  --type='json' \
  -p='[{"op": "remove", "path": "/spec/template/spec/tolerations"}]'

2. 重启Calico组件：

kubectl rollout restart daemonset calico-node -n kube-system
kubectl rollout restart deployment calico-typha -n kube-system

3. 验证恢复：

kubectl get pods -n kube-system -l k8s-app=calico-node --watch

总结 📝

Calico控制器重复容忍标签问题是AKS集群中常见的配置问题，但通过正确的诊断和修复方法，可以轻松解决。关键要点包括：

• 定期检查：监控Calico组件的容忍度配置
• 及时升级：保持AKS集群版本最新
• 配置管理：使用GitOps管理Kubernetes配置
• 测试验证：在非生产环境测试所有变更

通过遵循本文的指南，你可以确保AKS集群中的Calico网络策略引擎始终正常运行，为你的容器工作负载提供可靠的网络安全性。

记住，预防胜于治疗。建立完善的监控和配置管理流程，可以避免大多数Calico相关问题的发生。如果你遇到无法解决的问题，不要忘记查看AKS官方文档和GitHub Issue跟踪器，那里有丰富的社区经验和官方支持。

【免费下载链接】AKS Azure Kubernetes Service 项目地址: https://gitcode.com/gh_mirrors/ak/AKS