Zhongbo Zhu

Zhongbo Zhu 是 NVIDIA 的 AI 开发者和技术工程师,专门从事量化训练、CUDA 内核开发和端到端性能优化。他为 NVIDIA FP8 量化训练方法的研究和产品化做出了贡献。Zhongbo 拥有伊利诺伊大学香槟分校计算机工程硕士学位和浙江大学计算机工程学士学位。

Posts by Zhongbo Zhu

数据科学

适用于有效 FP8 训练的按张量和按块扩展策略

在本博文中,我们将分解主要的 FP8 缩放策略 (按张量缩放、延迟和电流缩放以及按块缩放 (包括 Blackwell 支持的 MXFP8… 2 MIN READ