SmoothQuant 解决了激活量化的什么难题？

参考答案

**难题**：权重量化容易（分布规整），但**激活量化难**——LLM 的激活值存在少数维度上的 outlier（异常大值），且这些 outlier 系统性地出现在固定通道。若直接对激活做 INT8 量化，outlier 会把量化范围拉大，导致大多数正常值的量化精度严重损失，掉点明显。 **SmoothQuant 的核心思想——难度迁移（migrate difficulty）**： - 观察到 `Y = X·W`，可以对每个通道引入一个缩放因子 s：`Y = (X / s)·(s · W)`，数学上等价。 - 把激活中难量化的 outlier 通道"除以 s 缩小"，同时把对应权重"乘以 s 放大"。 - 由于权重本身分布平滑、好量化，让它承担一部分难度；激活变得平滑后就好量化了。 - s 通过平衡激活和权重的量化难度来选取（按通道统计的 max 迁移强度 α 控制）。 **收益**：让 W8A8（激活也 8-bit）成为可能，从而能用 INT8 Tensor Core 做计算，提升 compute-bound 场景（prefill）的吞吐，且几乎无损。 **对比**：AWQ 是缩放权重来保护重要权重通道（目标是 W4A16 的权重量化）；SmoothQuant 是缩放来让激活可量化（目标是 A8）。两者都用等价缩放变换，但针对的对象不同。