高频面试真题

Prefill 和 Decode 两个阶段有什么本质区别？分别是 compute-bound 还是 memory-bound？

什么是投机解码（Speculative Decoding）？为什么能加速且不损失质量？

权重量化 GPTQ 和 AWQ 有什么区别？

W8A8、W4A16、W4A8KV4 这些量化配置分别是什么含义？

张量并行（TP）、流水线并行（PP）、专家并行（EP）分别是什么？

为什么说 LLM 解码阶段是 memory-bound？如何提升算术强度？

MoE 模型推理有哪些特有的挑战？

Chunked Prefill 是什么？解决了什么问题？

长上下文推理时 KV Cache 爆显存，有哪些压缩/优化手段？

SmoothQuant 解决了激活量化的什么难题？

vLLM 中一个请求被"抢占"（preemption）是怎么回事？如何缓解？

如何设计一个高并发、低延迟的 LLM 在线推理服务？

Attention Sink 现象是什么？StreamingLLM 如何利用它？

如果让你把一个 70B 模型部署到 2 张 A100 80G 上，你会怎么做？

Speculative Decoding 中 draft model 如何选择？draft 长度 k 如何权衡？

Medusa 和 Eagle 相比传统投机解码有什么改进？

Tensor 并行中的 all-reduce 通信在什么位置发生？为什么 TP 通常限制在单机内？

流水线并行的 bubble（气泡）是什么？如何减少？

DeepSeek MoE 的"共享专家 + 细粒度专家"设计有什么好处？

MLA（Multi-head Latent Attention）是什么？它如何减小 KV Cache？