Tensor 并行中的 all-reduce 通信在什么位置发生？为什么 TP 通常限制在单机内？

参考答案

**TP 通信位置**：以 Megatron 式张量并行为例，Transformer 层里主要有两处并行： - **Attention/MLP 的列并行 + 行并行组合**：MLP 的第一个线性层按列切（各卡算一部分输出，无需通信），第二个线性层按行切（各卡算部分和），最后需要一次 **all-reduce** 把各卡的部分和相加得到完整输出。 - Attention 类似：QKV 投影列并行，输出投影行并行，末尾 all-reduce。 - 所以每个 Transformer 层的前向有约 2 次 all-reduce（attention 和 MLP 各一次），反向也有对应通信。 **为什么限制在单机内**： - all-reduce 通信量大且发生在每层的关键路径上（同步、阻塞后续计算）。 - 机内 GPU 有 NVLink/NVSwitch（几百 GB/s ~ TB/s），机间只有以太网/InfiniBand（带宽低一个数量级、延迟高）。 - 若 TP 跨机，频繁 all-reduce 会被慢速网络严重拖累，得不偿失。 - 因此实践中：TP 限制在单机（8 卡内），跨机用 PP（通信少、只在阶段边界传激活）或 DP。