一、Prefill与Decode：LLM推理的二元架构
大语言模型（LLM）的推理过程可分解为两个逻辑独立的阶段：Prefill（预填充）与Decode（解码）。这两个阶段虽共享同一套神经网络权重，但对硬件资源的诉求呈现显著差异，这种”矛盾”特性直接决定了模型推理的效率边界。
1.1 Prefill阶段：一次性大计算
Prefill阶段承担着对用户输入提示（Prompt）的编码任务，其核心目标是将文本序列转换为模型可处理的隐状态向量。该阶段具有三大特征：
- 计算密集型：需对输入序列中的每个Token执行完整的Transformer层计算（自注意力+前馈网络）
- 数据并行性：所有Token的计算可完全并行化，适合GPU等高并行计算设备
- 内存带宽敏感：需频繁访问键值（KV）缓存，对HBM（高带宽内存）依赖度高
典型优化手段包括：
- FlashAttention算法：通过分块计算减少HBM读写次数，将注意力计算的内存访问量从O(n²)降至O(n)
- KV缓存压缩：采用量化或稀疏化技术降低缓存占用，例如将FP32权重压缩为FP16或INT8
- 流式处理：对超长输入进行分块处理，避免单次Prefill占用过多显存
1.2 Decode阶段：高频小读取
当模型生成第一个Token时，推理进入自回归的Decode阶段。该阶段呈现完全不同的计算模式：
- 迭代依赖性：每个Token的生成依赖前序所有Token的隐状态，形成严格的串行依赖
- 轻量计算：单步计算仅涉及当前Token的注意力计算和分类头预测
- 低延迟敏感：需在毫秒级时间内完成单步推理，对计算单元的指令级并行性要求高
优化Decode效率的关键在于平衡计算吞吐量与内存访问延迟。主流方案包括：
- Paged KV Cache：将KV缓存分页存储，按需加载到计算核心
- 连续批处理（Continuous Batching）：动态合并多个请求的Decode步骤，提升硬件利用率
- 投机解码（Speculative Decoding）：并行生成多个候选Token，通过验证器筛选最优结果
二、硬件需求的对立与统一
Prefill与Decode对硬件资源的诉求形成鲜明对比，这种矛盾性直接影响了推理系统的架构设计。
| 资源维度 | Prefill需求 | Decode需求 |
|---|---|---|
| 计算类型 | 大规模矩阵乘法（GEMM） | 小规模向量运算（点积、激活函数） |
| 内存访问模式 | 顺序读取（输入序列） | 随机访问（KV缓存） |
| 并行性 | 完全并行（Token级） | 串行依赖（步进式） |
| 带宽敏感度 | 计算带宽（FLOPs/s） | 内存带宽（GB/s） |
这种对立性导致传统架构难以同时满足两阶段需求。例如，GPU虽擅长Prefill阶段的并行计算，但其全局内存访问延迟可能成为Decode阶段的瓶颈；而CPU虽能提供低延迟内存访问，却无法高效处理Prefill的大规模并行计算。
三、Chunked Prefill：突破阶段壁垒的创新
为解决Prefill与Decode的阶段冲突，行业提出了Chunked Prefill（分块预填充）技术。其核心思想是通过空间换时间，将长序列的Prefill分解为多个子块，使Decode阶段得以提前启动。
3.1 技术原理
- 输入分块：将原始输入序列按固定长度（如2048 Token）分割为多个Chunk
- 流水线处理：
- 对第一个Chunk执行完整Prefill，生成初始KV缓存
- 启动Decode阶段生成前N个Token
- 并行处理后续Chunk的Prefill，将新增KV缓存追加到现有缓存中
- 动态合并：在Decode过程中动态插入新Chunk的KV缓存，保持上下文连续性
3.2 性能收益
以处理4096 Token输入为例：
- 传统方案：需等待4096 Token的Prefill完成（耗时T），再开始Decode
- Chunked方案：
- 处理前2048 Token（耗时T/2）后立即启动Decode
- 剩余2048 Token的Prefill与Decode并行执行
- 总耗时约T/2 + (T/2 * α)，其中α为并行重叠效率（通常0.7<α<0.9）
3.3 实现挑战
- 上下文一致性：需确保分块处理不破坏自注意力机制的全局依赖
- 解决方案：采用滑动窗口注意力或记忆压缩技术
- KV缓存管理：分块处理导致KV缓存碎片化
- 解决方案：实现缓存池化与动态分配机制
- 流水线气泡：分块间可能存在计算资源闲置
- 解决方案：动态调整Chunk大小或引入备用任务填充
四、工程实践中的优化策略
在实际部署中，需结合硬件特性与模型规模设计综合优化方案：
4.1 硬件感知优化
- GPU部署：
- 优先使用Tensor Core加速Prefill阶段的矩阵运算
- 对Decode阶段启用持久内核（Persistent Kernel）减少启动开销
- CPU部署：
- 利用AVX-512指令集优化小批量GEMM计算
- 采用NUMA感知的内存分配策略降低跨节点访问延迟
4.2 模型架构适配
- 稀疏注意力：对长序列输入采用局部注意力+全局标记的混合模式
- 动态批处理：根据请求长度动态组合Prefill与Decode任务
- 量化压缩：将模型权重量化至INT4/INT8，减少内存占用与带宽需求
4.3 系统级优化
- 异构计算：将Prefill卸载至专用加速器（如TPU），Decode保留在通用CPU/GPU
- 缓存预热：对高频查询的Prompt预先计算KV缓存
- 渐进式解码：结合束搜索（Beam Search）与温度采样，平衡生成质量与速度
五、未来演进方向
随着模型规模持续增长，Prefill与Decode的阶段优化将呈现以下趋势：
- 硬件协同设计：开发支持动态计算模式切换的专用芯片
- 算法-系统联合优化：通过神经架构搜索（NAS）自动生成阶段适配模型
- 分布式推理：将Prefill与Decode分布到不同计算节点，通过RDMA实现低延迟通信
- 内存墙突破：探索3D堆叠内存、光子计算等新技术缓解带宽瓶颈
结语
Prefill与Decode的二元架构深刻影响着大语言模型的推理效率。从FlashAttention到Chunked Prefill，技术演进始终围绕着平衡计算密度与内存访问的核心矛盾展开。理解这两个阶段的本质差异，是优化LLM应用性能、降低推理成本的关键所在。随着硬件技术与算法创新的持续突破，未来有望实现更高效的阶段融合，推动大语言模型向实时、低功耗方向演进。