模型量化部署实验：INT4 省了显存，但精度损失要按任务测

实验目的：
评估 7B 级模型在 FP16、INT8、INT4（GPTQ/AWQ）下的显存占用、吞吐和任务精度，判断能否把线上抽取任务从 FP16 切到 INT4。

实验设置：
同一模型，同一批 200 条业务抽取样本，指标包括字段级准确率、JSON 解析成功率、平均延迟、显存峰值。硬件单卡 24GB。

结果概览：
FP16 显存峰值约 14GB，INT8 约 8GB，INT4 约 5GB。吞吐上 INT4 明显更高，批处理场景提升最明显。但精度不是线性下降：通用问答和摘要任务上 INT4 损失很小，字段抽取任务上某些长尾字段准确率掉了 3—5 个百分点，JSON 解析失败率略有上升。

关键发现：
量化对“生成格式稳定性”的影响比对“知识回答”更敏感。抽取任务里，模型偶尔会漏引号、把数字写成字符串，FP16 下很少见，INT4 下需要更严格的后处理校验。另一个发现是 AWQ 在这批样本上比 GPTQ 略稳，但差距不大，选型还要看推理框架支持。

落地建议：
不要用一个通用 benchmark 决定量化方案。按任务建小评估集，至少覆盖：字段准确率、格式合法率、长尾样本、拒答行为。线上先灰度，监控解析失败率和人工复核率。对格式敏感的任务，保留 FP16 兜底或加 Schema 校验重试。

量化是性价比很高的工程手段，但它改变的是误差分布，不是简单“变差一点”。按任务测，比看参数更可靠。