多模态大模型微调实战：LLaMA-Factory框架与LoRA适配器训练配置

多模态大模型微调是当前人工智能领域的核心工程环节。LLaMA-Factory作为开源大模型训练框架，支持LLaVA、Qwen-VL等主流多模态模型的LoRA/QLoRA微调，通过配置文件即可完成数据集加载、训练参数设定与适配器导出。本文以LLaMA-Factory框架为例，演示多模态大模型微调的完整流程，涵盖训练数据准备、LoRA适配器配置、分布式训练启动以及合并导出。

LLaMA-Factory环境搭建与依赖安装

LLaMA-Factory要求Python 3.10+、PyTorch 2.1+、CUDA 12.1+。通过Git克隆仓库并安装依赖：

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"
pip install transformers accelerate bitsandbytes

安装完成后验证GPU可用性：

python -c "import torch; print(f'CUDA: {torch.cuda.is_available()}, Device: {torch.cuda.get_device_name(0)}')"

多模态训练数据集格式与注册

多模态微调需要图像-文本对数据。LLaMA-Factory使用ShareGPT格式的JSON文件，在conversation中引入image字段指向图像路径。数据集文件示例（training_data.json）：

[
  {
    "messages": [
      {"role": "user", "content": "<image>\n描述这张图片中的技术架构"},
      {"role": "assistant", "content": "图中展示了一个三层微服务架构，包含API网关层、业务服务层和数据存储层..."}
    ],
    "images": ["images/arch_diagram_01.png"]
  },
  {
    "messages": [
      {"role": "user", "content": "<image>\n这张代码截图有什么问题？"},
      {"role": "assistant", "content": "截图中的Python代码存在SQL注入风险，第12行直接拼接用户输入到SQL语句..."}
    ],
    "images": ["images/code_screenshot_05.png"]
  }
]

在dataset_info.json中注册该数据集：

{
  "mm_tech_qa": {
    "file_name": "training_data.json",
    "formatting": "sharegpt",
    "columns": {
      "messages": "messages",
      "images": "images"
    }
  }
}

LoRA适配器训练参数配置

LoRA（Low-Rank Adaptation）通过在冻结的预训练权重旁引入低秩矩阵实现高效微调，显存占用仅为全参数微调的5%-15%。关键参数配置（yaml格式）：

# lora_mm_config.yaml
### model
model_name_or_path: Qwen/Qwen2-VL-7B-Instruct
trust_remote_code: true
visual_inputs: true

### method
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
lora_rank: 64
lora_alpha: 128
lora_dropout: 0.05

### dataset
dataset: mm_tech_qa
template: qwen2_vl
cutoff_len: 2048
max_samples: 5000
overwrite_cache: true

### output
output_dir: saves/qwen2vl-lora
logging_steps: 10
save_steps: 200
plot_loss: true

### train
per_device_train_batch_size: 2
gradient_accumulation_steps: 4
learning_rate: 2e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000

lora_rank控制低秩矩阵的秩大小，rank=64在表达能力与参数量之间取得平衡；lora_alpha通常设为rank的2倍，用于缩放LoRA输出的权重比例；lora_target设为all表示对所有线性层注入LoRA适配器，相比仅微调q/v_proj能获得更好的泛化效果。

启动分布式训练与监控

使用LLaMA-Factory提供的训练入口启动LoRA微调，支持单机多卡DDP训练：

export NPROC_PER_NODE=4
export CUDA_VISIBLE_DEVICES=0,1,2,3

llamafactory-cli train lora_mm_config.yaml

训练过程中通过TensorBoard监控loss曲线：

tensorboard --logdir saves/qwen2vl-lora --port 6006

正常训练的loss应在前100步快速下降，随后进入缓慢收敛阶段。若loss震荡剧烈，降低learning_rate至1e-4；若收敛过慢，适当增加lora_rank至128。训练时长取决于数据量和GPU规格，以A100 80G四卡为例，5000条样本训练3个epoch约需2-4小时。

LoRA适配器评估与合并导出

训练完成后，使用验证集评估适配器效果。准备评估数据集并执行推理测试：

# eval_config.yaml
model_name_or_path: Qwen/Qwen2-VL-7B-Instruct
adapter_name_or_path: saves/qwen2vl-lora
template: qwen2_vl
visual_inputs: true
dataset: mm_tech_qa_eval
do_predict: true

llamafactory-cli export merged_model_config.yaml

合并配置导出完整模型权重：

# merged_model_config.yaml
model_name_or_path: Qwen/Qwen2-VL-7B-Instruct
adapter_name_or_path: saves/qwen2vl-lora
template: qwen2_vl
finetuning_type: lora
export_dir: models/qwen2vl-7b-lora-merged
export_size: 4
export_device: cpu
export_legacy_format: false

导出后的模型可直接通过vLLM或Ollama部署推理：

# vLLM部署
python -m vllm.entrypoints.openai.api_server \
  --model models/qwen2vl-7b-lora-merged \
  --trust-remote-code \
  --port 8000

多模态微调常见问题排查

显存不足（OOM）：优先降低per_device_train_batch_size至1并增加gradient_accumulation_steps；启用QLoRA将finetuning_type改为qlora并设置quantization_bit: 4；使用gradient_checkpointing: true以计算换显存。

图像加载失败：检查JSON中images路径是否为相对项目根目录的路径；确保图像格式为PNG/JPEG/WebP；cutoff_len不超过模型最大上下文长度。

微调后多模态能力退化：降低learning_rate至5e-5，减少训练epoch至1-2轮；增加lora_dropout至0.1防止过拟合；确保训练数据中纯文本对话与图文对话的比例不低于3:7，避免模型遗忘语言能力。