MoE 模型推理有哪些特有的挑战？

参考答案

MoE（Mixture of Experts）用路由让每个 token 只激活少数 expert，参数量大但激活计算少。推理时有一系列独特挑战： 1. **显存 vs 激活的错配**：所有 expert 权重都要常驻显存（参数量巨大，如 DeepSeek-V3 671B），但每个 token 只用其中几个，显存压力大而单 token 计算省。 2. **专家并行的 all-to-all 通信**：expert 分布在多卡时，需要把 token 按路由结果 all-to-all 分发到对应卡、算完再收回。all-to-all 是 MoE 分布式的主要瓶颈，对网络带宽和延迟敏感。 3. **负载不均衡（load imbalance）**：路由可能让某些 expert 被大量 token 选中（热点），而有的 expert 空闲，导致卡间负载倾斜、拖慢整体。需要辅助负载均衡 loss（训练）或推理时的容量因子/丢弃策略。 4. **动态性带来的批处理困难**：不同 token 去不同 expert，batch 内难以规整成大矩阵乘，kernel 效率受影响；需要 grouped GEMM 等专门算子。 5. **专家缓存/卸载**：显存不够时可把冷 expert 卸载到 CPU/NVMe，按需换入，但引入延迟。 **优化方向**：专家并行 + 数据并行组合、通信-计算重叠、路由感知的调度、共享专家（DeepSeek 的 shared expert）等。