deepseek

2025年 3月 7日

基于 1F1B 的 MoE A2A 通信计算 Overlap

在 MoE 模型的训练过程中，EP rank 之间的 A2A 通信在端到端时间中占据了相当大比重，对训练效率影响很大，
3 MIN READ