Posts by 刘振海
生成式人工智能/大语言模型
2025年 3月 7日
基于 1F1B 的 MoE A2A 通信计算 Overlap
在 MoE 模型的训练过程中，EP rank 之间的 A2A 通信在端到端时间中占据了相当大比重，对训练效率影响很大，
3 MIN READ