混沌工程实战：ChaosBlade故障注入流程与系统弱依赖验证方案

混沌工程通过主动注入故障验证系统韧性，把事故从生产环境提前到演练场。ChaosBlade是阿里开源的故障注入工具，覆盖进程、网络、磁盘、JVM等多个维度。实施混沌工程的关键不是工具本身，而是实验流程的规范化和爆炸半径的控制。

混沌实验设计：稳态假设与爆炸半径界定方法

每个实验开始前要写清楚稳态假设：系统正常运行时某个监控指标处于什么范围，注入故障后预期指标如何波动但仍在可接受区间。没有稳态假设的实验是盲注，测不出结论。

以订单服务为例，稳态假设写成三条：下单成功率99.9%以上；P99延迟800ms以下；依赖的积分服务挂掉后，下单成功率允许跌到95%，但10分钟内必须恢复。第三条就是弱依赖验证的核心：积分服务故障不应拖垮下单主流程。爆炸半径界定上，首次演练选预发环境，应用实例限制在1台，故障时长控制在2分钟内，观察完毕立即销毁实验。

ChaosBlade故障注入：CPU打满与网络延迟场景实操

ChaosBlade单二进制文件部署，命令行注入故障。常用场景的命令如下。

# 下载并解压（以1.7.x版本为例）
wget https://github.com/chaosblade-io/chaosblade/releases/download/v1.7.2/chaosblade-1.7.2-linux-amd64.tar.gz
tar -zxvf chaosblade-1.7.2-linux-amd64.tar.gz
cd chaosblade-1.7.2

# 场景1：CPU使用率打到80%，持续120秒
./blade create cpu fullload --cpu-percent 80 --timeout 120

# 场景2：指定服务调用积分接口延迟2秒
./blade create network delay --time 2000 --interface eth0 \
    --destination-ip 10.0.20.15 --port 8080 --timeout 120

# 场景3：杀掉指定Java进程制造宕机
./blade create process kill --process java --signal 9 --timeout 60

# 查看实验状态与销毁
./blade status --type create
./blade destroy <experiment_uid>

网络延迟场景里destination-ip指向积分服务的机器，模拟积分服务响应慢。命令执行后返回实验UID，销毁实验用这个UID。所有实验都有timeout兜底，避免人为遗忘导致故障长期存在。

弱依赖验证实验：熔断器与降级预案联动测试

弱依赖验证的目标是确认非核心依赖故障时主流程有逃生通道。实验分三步：注入积分服务网络延迟；观察下单接口的监控曲线；验证熔断器是否按预期打开、降级逻辑是否生效。

# 监控侧观察点
# 1. 下单QPS与成功率（业务大盘）
# 2. 积分调用RT与错误率（依赖大盘）
# 3. 熔断器状态机（half-open/open/closed）

# 预期现象：网络延迟注入后
# - 积分调用RT立即上涨到2000ms以上，错误率随超时攀升
# - 熔断器在10次失败后打开（假设配置阈值10）
# - 打开后下单RT回落到800ms以内，成功率回升
# - 降级路径：积分先记流水，故障恢复后补偿

如果注入后下单成功率跌破90%且不回升，说明降级预案失效，常见原因是熔断阈值配得太高、超时时间比熔断窗口长、降级代码抛了未捕获异常。这三个问题都是平时流量正常时暴露不出来的。

实验结果分析与预案迭代：演练报告要点

每次实验输出一份报告，包含四部分：稳态假设及实际数据对比、故障注入时间线、监控截图归档、发现的问题与改进项。改进项要落实到具体配置，比如熔断失败率阈值从50%调到30%，超时时间从3秒压到1秒。实验频率上，新服务上线后一个月内做一轮全场景注入，此后每季度回归一次核心场景。演练常态化后，值班同学对故障处置的敏感度会明显提升，真实事故的平均定位时间也随之下降。