混沌工程实践：Chaos Mesh故障注入与系统韧性验证方法

混沌工程与Chaos Mesh的适用场景

混沌工程通过在生产或预发环境主动注入故障，验证系统在异常状态下的自愈能力和降级逻辑。它把故障演练从“演示脚本”变成常态化验证，提前暴露架构薄弱环节。Chaos Mesh是CNCF旗下的混沌工程平台，原生支持Kubernetes，可以在Pod、网络、文件系统、时间等多个维度注入故障，与Prometheus、Grafana等监控体系无缝对接。

适用场景主要有四类：网络故障演练（丢包、延迟、分区）、节点故障演练（Pod删除、节点关闭）、资源压力演练（CPU/内存耗尽）、依赖故障演练（外部服务超时）。不适合混沌工程的场景：对在线支付核心链路直接注入故障而未做灰度演练，会造成真实资金损失；没有监控覆盖的系统先注入故障无法定位根因，演练本身也会变成事故。

Chaos Mesh安装与基础故障注入

安装Chaos Mesh推荐使用Helm，需要Kubernetes 1.16以上。部署完成后控制器会自动创建chaos-mesh命名空间。注入故障只需创建对应的CustomResource定义文件，由控制器转换为具体chaos操作。

# 安装Chaos Mesh
helm repo add chaos-mesh https://charts.chaos-mesh.org
helm install chaos-mesh chaos-mesh/chaos-mesh -n chaos-mesh

# 注入CPU压力故障
kubectl apply -f - <<EOF
apiVersion: chaos-mesh.org/v1alpha1
kind: StressChaos
metadata:
  name: cpu-stress
  namespace: demo
spec:
  mode: one
  selector:
    namespaces: ["demo"]
    labelSelectors:
      app: payment
  stressors:
    cpu:
      workers: 2
      load: 100
EOF

CPU压力通过StressChaos注入，workers指定压力线程数，load设定负载百分比。验证故障是否注入成功：kubectl get stresschaos查看状态，进入Pod运行top确认负载。故障注入结束后删除CRD，Chaos Mesh会自动恢复。

网络故障注入与恢复演练

网络是分布式系统最脆弱的部分，网络延迟和丢包会导致超时、重试风暴、请求堆积。Chaos Mesh提供NetworkChaos，可以注入延迟、丢包、带宽限制、端口封锁等故障。模拟数据库访问延迟：

apiVersion: chaos-mesh.org/v1alpha1
kind: NetworkChaos
metadata:
  name: network-delay-db
  namespace: demo
spec:
  mode: ONE
  selector:
    namespaces: ["demo"]
    labelSelectors:
      app: order
  action: delay
  delay:
    latency: 200ms
    jitter: 50ms
  target:
    mode: ONE
    selector:
      namespaces: ["demo"]
      labelSelectors:
        app: mysql
  duration: 5m
EOF

注入延迟后观察应用表现：请求P99时延上升、连接池耗尽、超时重试风暴、缓存击穿，每类问题都有对应治理手段。恢复演练不是删除CRD就结束，还要把超时、重试、限流、熔断的阈值拉回正常，并在演练报告中记录恢复时间和恢复后的稳定性。生产环境的网络故障演练建议在业务低峰期进行，先用5%的流量做1-2分钟的小范围注入，验证效果后再扩大。

节点故障注入与自愈验证

节点故障分为Pod故障（删除Pod、杀容器）和物理节点故障（关机、网络断）两类。Pod故障演练验证Kubernetes的ReplicaSet自愈能力，注入后观察Pod重建时间与负载均衡收敛时间；物理节点故障验证集群调度器的故障转移能力，以及上层应用的无状态设计是否到位。

# Pod故障注入
kubectl apply -f - <<EOF
apiVersion: chaos-mesh.org/v1alpha1
kind: PodChaos
metadata:
  name: pod-kill
  namespace: demo
spec:
  action: pod-kill
  mode: ONE
  selector:
    labelSelectors:
      app: order
  duration: 1m
EOF

# 模拟物理节点故障
kubectl cordon worker-3
kubectl drain worker-3 --ignore-daemonsets --delete-emptydir-data

PodChaos的pod-kill动作会杀掉选中的Pod，k8s自动重建。关键验证指标：故障注入后服务中断时长、Pod重建速度、Service能否快速摘除异常Pod。物理节点演练务必做好数据备份，drain过程中若Pod有本地数据（emptyDir）会被删除。

混沌工程演练体系与改进闭环

混沌工程不是一次性工具，而是一套演练体系。平台层面：Chaos Mesh + Prometheus + Grafana + Alertmanager，故障注入后自动对比指标基线；流程层面：每次演练包含评审（明确范围）、执行（注入）、验证（评估）、复盘（改进）四步。故障注入的粒度从“小流量注入”到“全量故障”渐进，先在单节点、单Pod做小范围演练，验证监控与告警联动，再扩展到多节点、多故障组合。

评估系统韧性的核心指标：MTTR（故障恢复时长）、MTBF（故障间隔）、SLO达成率。混沌演练的产出物是改进清单，每次演练必须有至少一项改进项落地：比如注入网络延迟后发现的超时配置问题、连接池过小问题、缓存不失效问题。用Chaos Mesh加上完整演练流程，可以把故障响应时间从小时级降到分钟级。