覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信，3 道题持续更新。
张量并行（TP）、流水线并行（PP）、专家并行（EP）分别是什么？
如何设计一个高并发、低延迟的 LLM 在线推理服务？
Tensor 并行中的 all-reduce 通信在什么位置发生？为什么 TP 通常限制在单机内？