大模型部署

RAG（检索增强生成）是当前AIGC应用落地的核心技术方案，通过将外部知识库与大模型结合，有效解决大模型幻觉问题和知识时效性限制。本文以实战角度拆解RAG系统搭建的完整流程，涵盖向…

大模型推理服务部署是AI模型部署链路中最关键的环节。vLLM作为当前主流的高性能推理引擎，通过PagedAttention机制和连续批处理技术，将GPU显存利用率从传统方案的60%…

大模型部署是AI工程化的关键环节。vLLM作为当前性能表现突出的推理框架，通过PagedAttention机制和连续批处理技术，在A100显卡上可实现每秒3000+ tokens的…