Cloudflare智能体流量拐点下的WAF规则重构与Bot管理实战

智能体流量超过人类：网站运维的新常态

2026年8月，Cloudflare Q2财报披露了一项里程碑数据：AI智能体等非人类流量于2026年5月正式超过人类流量，比此前预测的2027年底提前了一年半。当全网流量中超过50%来自Agent而非浏览器时，网站运维的假设基础已经坍塌——WAF规则、限流策略、监控体系都是为人类用户设计的，现在必须同时服务两类完全不同的流量主体。

对SRE和DevOps工程师而言，这不仅是安全防御问题，更是整个网站运维体系的重构。

当前WAF规则体系的失效点

传统WAF的检测逻辑建立在人类浏览器行为模型上：

签名匹配失效。基于已知攻击签名（SQL注入模式、XSS Payload特征）的检测对AI Agent无效。合法Agent的请求同样包含大量API调用、批量数据读写行为，与传统攻击模式高度重合但意图完全不同。签名匹配无法区分「合法Agent批量读取」和「恶意爬虫批量窃取」。

频率阈值失效。Rate Limiting以IP+时间窗口为维度，假设人类用户的请求频率有天然上限。但Agent的行为模式完全不同：一个合法Agent可能在1秒内发起5次结构化API调用完成一个子任务，也可能在10分钟内保持沉默等待外部响应后继续。基于静态阈值的限流会误杀合法Agent或漏放恶意爬虫。

会话模型失效。传统会话以Cookie/Session ID绑定，假设一个会话对应一个人类用户。Agent可能使用无状态模式，每次请求携带Token但不维护Session；也可能在分布式环境中从多个节点交替发起请求，单次任务跨越多个IP。

Cloudflare Bot Management的实战配置

Cloudflare的Bot Management产品提供了基于行为分析的智能体识别能力，核心配置项：

JS Challenge分级。对检测到的自动化流量，不直接拦截，而是根据Bot Score分数分级处理：0-30分直接拦截，30-70分触发JS Challenge，70分以上放行。这样既防御恶意爬虫，又不阻断合法Agent。

Super Bot Fight Mode配置。开启后自动对Verified Bots（已认证的搜索引擎爬虫等）放行，对未验证的自动化流量按策略处理。需要注意，部分AI Agent可能伪装为搜索引擎爬虫，需配合Bot Management的详细分析确认。

API Discovery + Schema Protection。自动发现API端点并生成Schema，对偏离Schema的请求自动拦截。Agent调用通常遵循固定的Schema结构，恶意请求则往往尝试参数篡改和路径遍历，Schema Protection能有效区分两者。

基于行为分析的智能限流方案

超越静态Rate Limiting，需要构建行为驱动的限流体系。以下是一个Cloudflare Worker实现的行为分析限流示例，对可疑Agent实施更严格的请求配额，对人类用户走正常配额：

# Cloudflare Worker: 行为分析限流示例
export default {
  async fetch(request, env) {
    const botScore = request.cf?.botManagement?.score || 50;
    const isVerifiedBot = request.cf?.botManagement?.verifiedBot;
    
    // Bot Score低于30分直接拦截
    if (botScore < 30) {
      return new Response("Blocked: suspicious automation", 
        { status: 403 });
    }
    
    // 30-70分区间：可疑Agent实施严格配额
    if (botScore < 70 && !isVerifiedBot) {
      const key = "rate:agent:" + clientId;
      const count = await env.KV.get(key);
      if (parseInt(count || "0") > 100) {
        return new Response("Rate limited", { 
          status: 429,
          headers: { "Retry-After": "60" }
        });
      }
      await env.KV.put(key, String(parseInt(count || "0") + 1), 
        { expirationTtl: 60 });
    }
    
    // 70分以上和Verified Bot：正常放行
    // 人类用户：1000次/分钟
    // 可疑Agent：100次/分钟
    return fetch(request);
  }
};

监控体系升级：双维度可观测性

现有监控面板以人类用户为核心指标（UV、PV、会话时长），需要增加Agent维度：

Agent流量仪表盘。新增Agent类型分布（搜索爬虫、AI Agent、监控探针、恶意爬虫）、Agent请求占比趋势、Agent行为异常告警。

双维度SLA。人类请求和Agent请求分别定义SLA。人类请求关注P99延迟和可用性；Agent请求关注任务完成率和平均调用链路深度。

成本归因。按流量类型拆分带宽、计算、存储成本。当Agent流量超过50%时，如果不做成本归因，人类用户的体验劣化可能被平均数据掩盖。

运维团队的下一步行动

1. 立即盘点自身服务的流量构成，区分人类请求与Agent请求的比例和趋势。

2. 对WAF规则进行审计，识别对合法Agent的误杀和对恶意Agent的漏放。

3. 引入行为分析型Bot Management方案，替代纯签名匹配的防御策略。

4. 在监控体系中增加Agent维度的指标和告警，确保两类流量的SLA可独立度量。