AI模型量化实战：INT8与INT4部署的精度损失控制方法

AI模型量化是把训练好的FP32/FP16权重压缩到低精度数值格式的技术，直接决定大模型推理成本。一个70亿参数模型按FP16存储需要14GB显存，量化到INT8只需7GB，INT4进一步压到3.5GB，意味着消费级显卡也能跑中尺寸模型。量化的核心矛盾是压缩率与精度损失的平衡，本文围绕量化原理、主流方案与精度补偿展开。

为什么量化能省显存：数值表示与存储开销

浮点数FP32用32位存储一个权重，INT8只用8位，INT4只用4位。量化过程本质是用一个缩放系数把浮点区间映射到整数区间：

# 对称量化示意
scale = (max(abs(weight)) / 127)
quantized = round(weight / scale)  # INT8存储
dequantized = quantized * scale   # 推理时还原

PyTorch的torch.quantization模块与TensorRT、llama.cpp都内置了该流程。非对称量化额外引入零点偏移，适合分布不对称的权重。KV Cache量化是容易被忽略的显存大头——长上下文场景下KV Cache占用可能超过权重本身，INT8 KV Cache能省下一半缓存显存。

量化方法对比：PTQ训练后量化与QAT量化感知训练怎么选

PTQ（Post-Training Quantization）不需要重新训练，加载现成权重校准即可，适合快速部署。QAT（Quantization-Aware Training）在训练中插入伪量化节点模拟量化误差，精度更好但要训练资源。GPTQ、AWQ属于训练后量化里的进阶方案：GPTQ逐层最小化量化误差，AWQ根据激活分布保护重要权重通道。实测经验：7B-14B模型用GPTQ/AWQ做4bit量化，MMLU等基准损失通常在1%以内；70B模型对量化更宽容，4bit后能力损失更小。

llama.cpp量化部署实战：Q4_K_M的转换与推理

llama.cpp的GGUF格式提供多档量化等级，Q4_K_M是精度与体积的常用平衡点：

# 转换模型为GGUF（以Qwen2.5-7B为例）
python convert_hf_to_gguf.py /models/Qwen2.5-7B --outfile qwen-7b-f16.gguf

# 量化到Q4_K_M
./llama-quantize qwen-7b-f16.gguf qwen-7b-q4km.gguf Q4_K_M

# 启动推理服务
./llama-server -m qwen-7b-q4km.gguf -c 4096 --port 8080

K量化系列对关键层保留更高精度，Q4_K_M在7B模型上体积约为FP16的28%，推理速度提升2-3倍。若追求极限压缩可选Q2_K，但代码生成类任务会出现明显逻辑错误。

GPU部署方案：vLLM与TensorRT的量化支持

vLLM支持AWQ、GPTQ与FP8三种量化格式，加载时指定参数即可：

vllm serve Qwen/Qwen2.5-7B-Instruct-AWQ   --quantization awq   --kv-cache-dtype fp8   --max-model-len 8192

kv-cache-dtype设为fp8能把KV Cache压到一半，吞吐量损失有限。TensorRT-LLM走另一条路线：构建引擎时指定int8或fp8精度，配合SmoothQuant算法处理激活值异常大的通道，延迟表现优于多数开源方案。H系列GPU原生支持FP8，部署新一代模型优先考虑FP8而非INT4——硬件级支持避免了反量化开销。

精度损失评估与回退策略

上线前用基准数据集做量化前后对比：数学推理用GSM8K，代码用HumanEval，通用能力用C-Eval。设定精度红线（如相对损失超过3%回退到更高精度档位），生产环境建议保留两个量化版本灰度切换。权重分布异常的模型（部分MoE结构）先做SmoothQuant校准再量化，直接PTQ容易崩精度。

选型建议

消费级显卡跑推理选llama.cpp的Q4_K_M；服务端A100/H100集群选vLLM+FP8或AWQ；延迟敏感场景用TensorRT-LLM。量化不是免费的午餐，但它让模型部署成本降了一个数量级，工程上值得花时间调校。