覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信，3 道题持续更新。
什么是 Continuous Batching（连续批处理）？相比静态批处理有何优势？
如果让你把一个 70B 模型部署到 2 张 A100 80G 上，你会怎么做？
Continuous Batching 下，如何设置 max-num-seqs 和 max-num-batched-tokens？