W8A8、W4A16、W4A8KV4 这些量化配置分别是什么含义？

参考答案

这类记号描述"哪些张量量化到多少 bit"，格式为 W(权重)A(激活)KV(KV Cache)： - **W4A16**：权重 4-bit，激活 16-bit（FP16/BF16）。最常见的 PTQ 部署配置（GPTQ/AWQ 都属此类）。主要省显存和权重读取带宽；矩阵乘时把 INT4 权重反量化成 FP16 与激活相乘。适合 decode 这种 memory-bound、权重读取是瓶颈的场景。 - **W8A8**：权重和激活都 8-bit（常配 INT8 或 FP8）。计算也用低精度，能用上 INT8/FP8 Tensor Core，prefill 等 compute-bound 场景吞吐提升明显。需要处理激活的 outlier（如 SmoothQuant 把量化难度从激活转移到权重）。 - **W4A8KV4**：权重 4-bit、激活 8-bit、KV Cache 4-bit 的全链路量化。2026 年很多团队的默认高压缩配置，同时压权重、算力和 KV Cache 三处开销。 **要点**： - 激活量化比权重量化难（动态范围大、有 outlier），所以 A 通常比 W 精度高。 - KV Cache 量化（KV4）对长上下文显存收益大，但 K 比 V 更敏感（KIVI：K 2-bit、V 4-bit）。 - 新硬件（H200/B200、MI350）原生支持 FP8，W8A8-FP8 吞吐可翻倍。