大模型LoRA微调实战：低成本高效微调LLaMA的完整流程

大模型微调是让通用模型适配垂直业务的主要手段，LoRA（低秩适配）是当前性价比最高的微调方案。相比全量微调，LoRA只训练注入的少量低秩矩阵，参数量通常只占模型总量的0.1%-1%，显存占用大幅下降，单卡即可完成微调。本文以LLaMA系列模型为例，走一遍LoRA微调从数据准备到推理的完整流程。

LoRA原理与全量微调的差异对比

LoRA的核心假设是模型权重的更新量具有低秩特性。训练时冻结原始权重W，在旁边添加两个小矩阵A和B（W’ = W + BA），只训练A、B。推理时可以把增量合并回原权重，不增加任何延迟开销。全量微调需要更新所有参数，7B模型用Adam优化器至少需要56GB以上显存；LoRA在相同模型上，8-16GB显存即可训练。

效果层面，LoRA在小规模指令数据（1k-10k条）上微调后，任务表现与全量微调接近，在领域适配（客服话术、行业问答）场景下差异很小。数据量很大或需要模型学到全新能力时，全量微调仍有优势。多数业务场景先用LoRA验证效果，成本远低于全量微调。

LoRA微调前的数据准备与格式处理

微调数据以指令-回答对为主，中文场景常用alpaca格式。每条样本包含instruction、input、output三个字段，先把数据整理成JSON并做去重、清洗，确保output是期望的规范答案：

[
  {
    "instruction": "用一句话解释什么是分布式事务",
    "input": "",
    "output": "分布式事务是跨多个数据库或服务保持数据一致性的机制，典型实现有两阶段提交、TCC、Saga。"
  }
]

数据质量决定微调上限。清洗规则：删除重复问答、修正错别字、统一语气、过滤包含敏感词的内容，样本量建议不低于500条，1万条左右效果趋于稳定。

基于peft库的LoRA微调代码实现

使用HuggingFace的peft库与transformers组合，训练脚本如下：

from datasets import load_dataset
from transformers import (
    AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer
)
from peft import LoraConfig, get_peft_model, TaskType

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-hf", torch_dtype="auto"
)
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")

lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    r=8,                 # 秩，越大表达能力越强，显存占用越高
    lora_alpha=16,       # 缩放系数，通常取r的2倍
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],  # 只注入注意力层
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()  # 可训练参数量占比

trainer = Trainer(
    model=model,
    args=TrainingArguments(
        output_dir="./lora-out",
        per_device_train_batch_size=4,
        gradient_accumulation_steps=8,
        learning_rate=2e-4,
        num_train_epochs=3,
        logging_steps=50,
        save_strategy="epoch",
    ),
    train_dataset=dataset,
    tokenizer=tokenizer,
)
trainer.train()
model.save_pretrained("./lora-checkpoint")

LoRA合并权重与模型推理部署

微调完成后，既可以直接加载LoRA权重推理，也可以合并回基座模型。合并后模型与普通模型无差别，便于部署到生产环境：

from peft import PeftModel

base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
merged = PeftModel.from_pretrained(base_model, "./lora-checkpoint").merge_and_unload()
merged.save_pretrained("./merged-model")

# 推理
tokenizer = AutoTokenizer.from_pretrained("./merged-model")
inputs = tokenizer("请回答：什么是RAG？", return_tensors="pt")
outputs = merged.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0]))

LoRA微调的常见坑与效果评估

高频问题：过拟合（训练loss持续下降但验证效果差，减少epoch或增大dropout）；学习率过大导致loss震荡（LoRA通常用2e-4左右）；target_modules选错（不同模型参数名不同，可用peft的get_peft_model打印确认）。效果评估不要只看loss，用一批真实业务问题人工打分，对比基座模型与微调模型的回答质量、格式规范程度。LoRA适合快速迭代业务适配，配合RAG、Prompt工程可以组合成完整的模型落地方案。