Utkarsh Uppal

Utkarsh Uppal 是 NVIDIA 的高级应用深度学习解决方案架构师,专注于构建跨语言和语音等领域的高性能深度学习工作流。他的主要工作重点是开发端到端对话式 AI 系统,包括从头开始训练 LLM (尤其是针对印度语言) ,以及与企业一起构建特定领域的模型。他还在设计和优化生产推理架构方面拥有深厚的专业知识,专注于低精度格式 ( FP4、FP8) 、解码策略和 KV 缓存优化。

Posts by Utkarsh Uppal

数据科学

适用于有效 FP8 训练的按张量和按块扩展策略

在本博文中,我们将分解主要的 FP8 缩放策略 (按张量缩放、延迟和电流缩放以及按块缩放 (包括 Blackwell 支持的 MXFP8… 2 MIN READ