什么是 Continuous Batching（连续批处理）？相比静态批处理有何优势？

参考答案

**静态批处理（Static Batching）**：把若干请求组成一个 batch 一起推理，必须等 batch 内最长的序列生成完，整个 batch 才释放。短请求生成完后其 GPU 槽位空转，等待长请求，造成利用率低、padding 浪费。 **连续批处理（Continuous Batching，又称 iteration-level scheduling）**：调度粒度细化到"每个解码步"。某个请求生成结束（遇到 EOS 或达到长度）后，其槽位在下一步立即被队列中的新请求填入，无需等待整个 batch 完成。 **优势**： - GPU 始终保持高占用，吞吐相比静态批处理可提升 3-10×（Anyscale 实测聚合吞吐提升可达 23×）。 - 消除等待最长序列的空转和 padding 浪费。 - 新请求无需等待即可加入，降低排队延迟。 **实现**：ORCA 最早提出，vLLM、TGI、TensorRT-LLM 都默认启用。常与 PagedAttention 配合（动态进出请求需要灵活的 KV 内存管理）。 **调优**：vLLM 中 `--max-num-seqs`（并发序列上限）、`--max-num-batched-tokens`（单步 token 预算）影响吞吐与 TTFT 的权衡。