AI 术语表 · 进阶 · 效率与基础设施
GPTQ·AWQ
GPTQ·AWQ 是将已训练好的 LLM 权重压缩到 4 比特等低比特的代表性量化方法。它们无需重新训练，只用少量样本数据就能在减少质量损失的同时让模型变轻。
工作原理
两种方法都是在训练结束后应用的训练后量化，通过把少量校准（calibration）数据输入模型来做出决策。GPTQ 逐层把权重一个个转换为低比特，同时调整尚未转换的其他权重，以补偿由此产生的误差。AWQ（Activation-aware Weight Quantization）找出输入信号（激活值）较大一侧的重要权重，通过调整缩放让它们少受损失。结果是，两者都以 4 比特等形式存储权重，计算时再解压使用。
GPTQ 与 AWQ 的技巧
GPTQ边弥补误差边压缩
- 逐层逐个转为低比特
- 用剩余权重补偿产生的误差
AWQ保护重要权重
- 重视激活值较大的一侧
- 通过缩放调整减少削减
공통 两者都是不重新训练、仅用少量校准数据进行的训练后量化
在哪里会看到
在 Hugging Face 上经常会遇到模型名称末尾带有“-GPTQ”“-AWQ”“-Int4”等后缀的仓库。vLLM 等推理引擎的配置中有 quantization 选项，模型配置文件（config.json）中写有比特数、分组大小等量化信息。可以用“参数量 × 0.5 字节（4 比特）≈ 权重内存”来估算。与 16 比特原始模型相比，权重内存大约减少到四分之一。
注意事项
量化并非没有代价。在数学、编程等精细任务或小模型上，质量下降可能更明显，因此最好用实际业务数据与原始模型进行比较。如果校准数据与实际用途相差太远，结果可能变差。此外，速度提升取决于哪些 GPU 和推理引擎支持该格式的快速运算（内核）。笔记本和 CPU 通常选用 GGUF，GPU 服务器则多选用 GPTQ·AWQ。
示例
如果公司内部想用一张 GPU 部署开放权重模型，但 16 比特原始模型放不进显存，可以找到同一模型的“-AWQ”版本，在 vLLM 中开启 quantization 选项后启动。然后用一组常见问题，将其回答质量与原始 API 的结果进行比较，判断是否可用。