大模型训练

PyTorch FSDP分布式训练是什么 PyTorch FSDP（Fully Sharded Data Parallel）是PyTorch 2.0引入的全分片数据并行方案，将模型…

大模型LoRA微调（Low-Rank Adaptation）作为一种参数高效微调技术，通过低秩分解大幅降低可训练参数量，在消费级显卡上即可完成百亿参数模型的领域适配训练。相比全参数…

混合专家（Mixture of Experts, MoE）是人工智能大模型开发中提升参数规模与推理效率的关键架构。MoE通过稀疏激活机制，让每个token仅路由到部分专家网络进行计…

LoRA与QLoRA参数高效微调技术原理 人工智能领域大模型微调面临的核心矛盾是显存容量与训练成本的约束。全量微调（Full Fine-Tuning）需要加载模型全部参数的梯度与优…

文本去重：MinHash与精确去重的工程实现 训练语料中的重复文本会导致模型对某些模式过拟合，浪费训练算力。去重分两层处理：文档级去重去除完全相同或高度相似的文章，段落级去重消除跨…

LoRA低秩适配的核心原理与数学推导 大模型全参数微调的显存开销让多数团队望而却步——一个7B参数的模型，全量微调需要至少28GB显存存放优化器状态。LoRA（Low-Rank A…

混合专家模型（Mixture of Experts, MoE）已成为千亿参数大模型训练的主流架构选择。Mixtral 8x7B、DeepSeek-MoE、GPT-4等模型均采用Mo…

LoRA（Low-Rank Adaptation）是大模型参数高效微调（PEFT）领域最具代表性的技术之一，通过冻结预训练权重并在旁路注入低秩矩阵，将可训练参数量压缩至原模型的0.…

LoRA（Low-Rank Adaptation）是一种参数高效微调方法，通过在预训练模型权重旁注入低秩矩阵实现轻量化适配。相比全量微调，LoRA可将可训练参数量降低至原模型的0.…

LoRA（Low-Rank Adaptation）是一种参数高效微调方法，通过在预训练模型权重旁注入低秩矩阵实现轻量化适配。相比全量微调，LoRA可将可训练参数量降低至原模型的0.…