张量并行（TP）、流水线并行（PP）、专家并行（EP）分别是什么？

参考答案

三种分布式并行策略，用于把放不下单卡的大模型切分到多卡： **张量并行（Tensor Parallelism, TP）**： - 把单层内的权重矩阵按行/列切到多卡，每卡算一部分，通过 all-reduce/all-gather 合并结果。 - 层内并行，通信频繁（每层前向/反向都要通信），对卡间带宽（NVLink）要求高，通常限制在单机内。 - 降低单卡显存和单层计算，减小延迟。 **流水线并行（Pipeline Parallelism, PP）**： - 把不同层分到不同卡，数据像流水线一样流过各阶段。 - 通信少（只在阶段边界传激活），可跨机。 - 缺点是"流水线气泡"（bubble）导致利用率下降，需要 micro-batch 填充流水线来缓解。 **专家并行（Expert Parallelism, EP）**： - MoE 模型专用，把不同的 expert（FFN）分到不同卡。 - 每个 token 经路由只激活少数 expert，通过 all-to-all 通信把 token 分发到对应 expert 所在卡再收回。 - all-to-all 通信是 MoE 分布式的主要瓶颈。 **实践**：大模型常组合使用，如 TP（机内）+ PP（机间）+ DP（数据并行）+ EP（MoE），即所谓 3D/4D 并行。