TensorRT-LLM
-
大模型推理优化实战：vLLM与TensorRT-LLM部署性能对比
大模型推理优化是AI模型部署环节的核心瓶颈。当模型参数达到70B甚至更大规模时，推理延迟、吞吐量和显存利用率直接影响线上服务质量。当前主流推理框架中，vLLM凭借PagedAtte…
大模型推理优化是AI模型部署环节的核心瓶颈。当模型参数达到70B甚至更大规模时，推理延迟、吞吐量和显存利用率直接影响线上服务质量。当前主流推理框架中，vLLM凭借PagedAtte…