显存优化

大模型推理过程中的显存瓶颈集中在KV Cache缓存机制。随着序列长度增长，KV Cache占用的显存呈线性增长，传统连续分配方式导致显存碎片化严重，吞吐量受限。PagedAtte…

KV Cache为什么成为大模型推理的显存瓶颈 大语言模型推理过程中，KV Cache（键值缓存）是自回归生成的核心机制。每生成一个token，模型需要将注意力层的Key和Valu…