颜子杰

颜子杰， NVIDIA加速计算专家 专注于大规模语言模型（LLM）训练系统。目前，他是 Megatron Core MoE的核心开发者之一，主要负责该系统的工程开发与性能优化工作

Posts by 颜子杰

生成式人工智能/大语言模型 2025年 3月 7日

基于 1F1B 的 MoE A2A 通信计算 Overlap

在 MoE 模型的训练过程中，EP rank 之间的 A2A 通信在端到端时间中占据了相当大比重，对训练效率影响很大， 3 MIN READ