模型推理优化
-
大模型MoE混合专家架构原理与vLLM部署配置实战
大模型推理成本居高不下，混合专家（Mixture of Experts, MoE）架构通过稀疏激活机制让模型在保持参数规模的同时显著降低推理计算量。DeepSeek-V3、Mixt…
大模型推理成本居高不下，混合专家（Mixture of Experts, MoE）架构通过稀疏激活机制让模型在保持参数规模的同时显著降低推理计算量。DeepSeek-V3、Mixt…