FP8 推理相比 INT8 有什么优势？为什么 2026 年越来越流行？

参考答案

**FP8 与 INT8 的区别**：都是 8-bit，但 FP8 是浮点（有指数位+尾数位，常见 E4M3 和 E5M2 两种格式），INT8 是定点整数。 **FP8 的优势**： 1. **动态范围大**：浮点的指数位使 FP8 能表示的数值范围远大于 INT8。LLM 激活有 outlier、动态范围大，FP8 的宽范围更能容纳，量化更简单，往往不需要 SmoothQuant 那样复杂的 outlier 处理。 2. **精度分布更契合**：浮点在 0 附近精度高、远处精度低，符合神经网络数值分布特点。 3. **硬件原生支持**：NVIDIA Hopper（H100/H200）、Blackwell（B200）、AMD MI300/MI350 都有 FP8 Tensor Core，算力相比 FP16 翻倍。 **为什么 2026 年流行**： - 新硬件普及，FP8 算力可直接享受 2× 吞吐。 - W8A8-FP8 部署简单、掉点小，成为很多团队默认配置。 - FlashAttention-3 支持 FP8 attention，进一步提速。 - 全链路（含 KV Cache）FP8/FP4 成为趋势。 **权衡**：INT8 在没有 FP8 硬件的老卡上仍有意义，且配合 SmoothQuant 也能做好；FP8 需要较新硬件。