🎯 AI Infra 面试题库
高频面试真题
覆盖 GQA / FlashAttention / PagedAttention / MoE / 量化 / 分布式通信，50 道题持续更新。
41424344454647484950
中等CUDACUDA面试高频NVIDIA
CUDA 中 Global Memory、Shared Memory、Register 的区别？为什么 kernel 优化要关注它们？
6 0 0
中等CUDACUDA算子优化面试高频
算子融合（Kernel Fusion）为什么能提速？举几个 LLM 中的例子。
7 0 0
中等CUDACUDATriton面试高频
Triton 相比手写 CUDA 有什么优势？为什么很多推理 kernel 用 Triton 写？
6 0 0
中等serving推理系统vLLM面试高频
Continuous Batching 下，如何设置 max-num-seqs 和 max-num-batched-tokens？
5 0 0
中等serving推理系统vLLM面试高频
gpu-memory-utilization 参数设置为什么不能设成 1.0？
7 0 0
困难MoEMoECUDA算子优化
什么是 Grouped GEMM？为什么 MoE 推理需要它？
4 0 0
困难系统设计系统设计负载均衡面试高频
在线服务中如何做 LLM 的负载均衡？为什么简单轮询不够？
6 0 0
中等量化量化BF16FP16
BF16 和 FP16 有什么区别？训练/推理中如何选择？
5 0 0
中等推理系统推理系统硬件Roofline
为什么 LLM 推理常常是显存带宽瓶颈而非算力瓶颈？这对硬件选型有什么启示？
6 0 0
中等量化量化评估面试高频
如何评估一个量化方案的好坏？会看哪些指标？
6 0 0