多模态大模型微调实战：用LLaMA-Factory完成视觉语言模型LoRA训练

多模态大模型微调是AIGC应用落地中最常见的技术环节。视觉语言模型（VLM）需要把图像理解与文本生成对齐到具体业务，直接使用通用权重往往效果不达标，微调是成本最低的路线。本文以LLaMA-Factory为训练工具，演示对Qwen2-VL-7B这类视觉语言模型执行LoRA指令微调的完整流程，覆盖数据准备、训练配置、效果评估与推理部署四个阶段。

视觉语言模型微调前的环境准备

开始多模态大模型微调前，先确认硬件与软件环境。LoRA这类参数高效微调对显存的占用远低于全参微调，但视觉编码器与图像tokenizer仍会消耗额外显存，建议单卡显存不低于24GB。依赖安装以CUDA 12.1以上版本的PyTorch为基准，LLaMA-Factory通过pip直接安装即可：

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .[torch,bitsandbytes]

模型权重默认从HuggingFace拉取，国内网络环境可设置HF_ENDPOINT镜像加速，或将权重事先下载到本地目录，训练时通过路径直接引用。

多模态指令数据集的格式与构建

LLaMA-Factory对多模态数据同时支持alpaca与sharegpt两种格式。视觉语言模型微调推荐使用sharegpt格式，每条样本可携带多轮对话与多个图像引用，字段结构如下：

[
  {
    "conversations": [
      {"from": "human", "value": "<image>\n描述这张图的场景。"},
      {"from": "gpt", "value": "图片中是一个繁忙的物流分拣车间，AGV机器人正在搬运货箱。"}
    ],
    "images": ["/data/train/img_001.jpg"]
  }
]

图片路径在训练时会由数据处理器统一读取并转成图像张量，<image>占位符会被替换为视觉编码器输出的图像token。数据量方面，指令微调场景单任务通常准备500至2000条高质量样本即可有明显效果，超过1万条时优先检查数据质量而不是继续堆量。

LoRA微调配置与训练执行

LLaMA-Factory通过YAML配置描述训练参数。LoRA的作用对象建议同时包含attention层与mlp层，秩数r取8到16，alpha取r的两倍。多模态场景下微调全部LoRA层，学习率可从1e-4起步：

model_name_or_path: /models/Qwen2-VL-7B
template: qwen2_vl
stage: sft
finetuning_type: lora
lora_rank: 16
lora_alpha: 32
dataset: vlm_train
cutoff_len: 4096
learning_rate: 1.0e-4
num_train_epochs: 3.0
per_device_train_batch_size: 2
gradient_accumulation_steps: 8
output_dir: outputs/qwen2vl-lora

llamafactory-cli train configs/qwen2vl_lora.yaml

训练过程中重点观察loss曲线与显存占用。视觉语言模型微调常见问题是数据中<image>占位符缺失导致图片被丢弃，训练前用少量样本跑通一步，确认图像特征确实进入输入序列再放量训练。

微调后模型的评估与推理部署

训练产物是adapter权重，评估前先合并回基座模型，或在推理时动态挂载adapter。llamafactory-cli提供chat命令做快速对话验证：

llamafactory-cli chat --model_name_or_path /models/Qwen2-VL-7B-Instruct \
    --adapter_name_or_path outputs/qwen2vl-lora \
    --template qwen2_vl

验证时准备与训练分布一致的测试图片，关注图文对应是否准确、是否出现幻觉描述。生产部署阶段，把adapter合并进基座后导出，再交给vLLM托管，单卡即可提供稳定的在线推理服务：

llamafactory-cli export --model_name_or_path /models/Qwen2-VL-7B-Instruct \
    --adapter_name_or_path outputs/qwen2vl-lora \
    --export_dir /models/Qwen2-VL-7B-merged

至此，多模态大模型微调的完整链路已经走通。数据集格式、训练参数与部署导出三个环节是复用的核心，任何项目在这三处保持一致，VLM微调的交付周期都能被压缩到一周以内。