高频面试真题

vLLM 中一个请求被"抢占"（preemption）是怎么回事？如何缓解？

如何设计一个高并发、低延迟的 LLM 在线推理服务？

FP8 推理相比 INT8 有什么优势？为什么 2026 年越来越流行？

Attention Sink 现象是什么？StreamingLLM 如何利用它？

如果让你把一个 70B 模型部署到 2 张 A100 80G 上，你会怎么做？

Speculative Decoding 中 draft model 如何选择？draft 长度 k 如何权衡？

Medusa 和 Eagle 相比传统投机解码有什么改进？

Tensor 并行中的 all-reduce 通信在什么位置发生？为什么 TP 通常限制在单机内？

流水线并行的 bubble（气泡）是什么？如何减少？

DeepSeek MoE 的"共享专家 + 细粒度专家"设计有什么好处？

MLA（Multi-head Latent Attention）是什么？它如何减小 KV Cache？

为什么大 batch 下投机解码收益会下降？

Prefill/Decode 分离（Disaggregation）架构的动机和挑战是什么？

Mooncake 的以 KV Cache 为中心的架构有什么特点？

RadixAttention（SGLang）相比 vLLM 的 prefix caching 有什么不同？

量化中的 per-tensor、per-channel、per-token、per-group 量化粒度有何区别？

解码采样中 temperature、top-k、top-p（nucleus）分别控制什么？

KV Cache 量化中为什么 Key 比 Value 更难量化 / 更敏感？

什么是 arithmetic intensity（算术强度）？如何用 Roofline 模型分析 LLM 推理？

CUDA 中 warp、block、grid、SM 的关系是什么？