深度学习框架

MoE（Mixture of Experts）混合专家模型通过稀疏激活机制，让参数规模与计算量解耦，成为当前大语言模型控制推理成本的主流架构选择。Mixtral 8x7B以46.7…

MoE（Mixture of Experts）混合专家模型通过稀疏激活机制在不线性增加推理计算量的前提下扩展模型参数规模，已成为GPT-4、Mixtral、DeepSeek-MoE…

MoE模型架构设计核心思想 稀疏专家混合模型（Mixture of Experts，简称MoE）是一种将大模型参数容量与实际计算量解耦的架构方案。传统稠密模型在推理时激活全部参数，…

知识蒸馏是人工智能领域中广泛使用的模型压缩技术，通过教师模型向学生模型传递知识，在保持推理精度的前提下大幅降低模型参数量和计算开销。大模型开发过程中，线上推理成本往往成为瓶颈，深度…

混合精度训练：FP16与BF16在深度学习框架中的加速原理 混合精度训练是当前大模型开发中降低显存占用、提升训练速度的核心手段。PyTorch从1.6版本开始原生支持自动混合精度（…

PyTorch模型量化部署是深度学习框架落地生产环境的关键环节。训练完成的FP32模型在推理阶段存在显存占用大、计算延迟高的问题，INT8量化能将模型体积缩减75%、推理速度提升2…

为什么需要LoRA微调而非全参数训练 大模型动辄数百亿参数，全量微调对GPU显存的要求极高——70B参数模型在FP16精度下仅模型权重就需要140GB显存，加上梯度、优化器状态，单…