柏炎

柏炎 NVIDIA 加速计算专家,目前主要从事 Megatron-Core 与强化学习的优化工作。

Posts by 柏炎

生成式人工智能/大语言模型

探索在大模型训练中使用 Megatron-Core 训练框架提高显存使用效率

在大模型训练中,显存(GPU Memory)始终是最稀缺的资源之一。随着模型规模迈入百亿、千亿甚至万亿参数级别,如何在有限显存中“塞下”… 3 MIN READ