TTFT、TPOT、吞吐量分别衡量什么？它们之间如何权衡？

参考答案

LLM 服务的三个核心指标： - **TTFT（Time To First Token，首 token 延迟）**：从请求到产出第一个 token 的时间，主要由 prefill 阶段和排队等待决定。影响用户"响应快不快"的直观感受（流式输出的起始）。 - **TPOT（Time Per Output Token，也叫 ITL，token 间延迟）**：生成后续每个 token 的平均间隔，由 decode 阶段决定。影响"打字速度"。 - **Throughput（吞吐量）**：单位时间处理的总 token 数（或请求数），衡量系统整体效率和成本。 **权衡关系**： - **吞吐 vs 延迟**：增大 batch size 提升吞吐（decode 是 memory-bound，更多序列摊薄权重读取），但会增加单请求延迟（排队 + 单步变慢）。这是最核心的权衡。 - **TTFT vs TPOT**：长 prefill 占用 GPU 会阻塞正在 decode 的请求，抬高它们的 TPOT；Chunked Prefill 把 prefill 切块与 decode 交错，牺牲一点 TTFT 换更稳的 TPOT。 - **SLO 驱动**：在线服务通常先定 TTFT/TPOT 的 p99 SLO，再在满足 SLO 前提下把 batch 开到最大以榨取吞吐、降成本。