🎯 AI Infra 面试题库
高频面试真题
覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信，50 道题持续更新。
0102030405060708091011121314151617181920
简单kv-cacheKV Cache字节跳动腾讯
什么是 KV Cache？为什么推理时需要它？
13 0 0
中等kv-cacheKV Cache显存面试高频
KV Cache 的显存占用如何估算？
9 0 0
中等AttentionAttentionGQAMQA
MHA、MQA、GQA 有什么区别？为什么现在主流用 GQA？
11 0 0
中等AttentionAttentionFlashAttention面试高频
FlashAttention 的核心思想是什么？它优化了什么？
8 0 0
中等serving推理系统PagedAttentionvLLM
PagedAttention 解决了什么问题？原理是什么？
8 0 0
中等serving推理系统Continuous BatchingvLLM
什么是 Continuous Batching（连续批处理）？相比静态批处理有何优势？
11 0 0
困难推理系统推理系统PrefillDecode
Prefill 和 Decode 两个阶段有什么本质区别？分别是 compute-bound 还是 memory-bound？
10 0 0
困难decoding解码策略投机解码面试高频
什么是投机解码（Speculative Decoding）？为什么能加速且不损失质量？
9 0 0
困难量化量化GPTQAWQ
权重量化 GPTQ 和 AWQ 有什么区别？
8 0 0
困难量化量化FP8面试高频
W8A8、W4A16、W4A8KV4 这些量化配置分别是什么含义？
12 0 0
困难并行策略并行策略分布式TP
张量并行（TP）、流水线并行（PP）、专家并行（EP）分别是什么？
10 0 0
中等serving推理系统Prefix CachingvLLM
什么是 Prefix Caching / 前缀缓存？在什么场景收益大？
8 0 0
中等推理系统推理系统性能指标面试高频
TTFT、TPOT、吞吐量分别衡量什么？它们之间如何权衡？
9 0 0
困难推理系统推理系统Roofline面试高频
为什么说 LLM 解码阶段是 memory-bound？如何提升算术强度？
9 0 0
困难MoEMoE分布式专家并行
MoE 模型推理有哪些特有的挑战？
9 0 0
困难serving推理系统Chunked PrefillvLLM
Chunked Prefill 是什么？解决了什么问题？
10 0 0
困难kv-cacheKV Cache长上下文量化
长上下文推理时 KV Cache 爆显存，有哪些压缩/优化手段？
11 0 0
中等AttentionAttention数值稳定面试高频
为什么 Softmax 需要做数值稳定处理（减去最大值）？
6 0 0
中等AttentionAttentionRoPE长上下文
RoPE（旋转位置编码）是什么？为什么利于长上下文外推？
7 0 0
困难量化量化SmoothQuant面试高频
SmoothQuant 解决了激活量化的什么难题？
8 0 0