Vijay Thakkar

Vijay Thakkar 是 NVIDIA 的高级计算架构师,也是 CUTLASS 3 的主要作者。除了在 CUTLASS 方面的工作之外,他还参与了 GPU 架构、编译器和 CUDA 工程团队的 Tensor Core 架构、PTX 曝光和编程模型的开发。

Posts by Vijay Thakkar

AI 平台/部署

CUTLASS:基于张量和空间微核处理多维数据的原理抽象

在生成式 AI 时代,充分发挥 GPU 的潜力对于训练更好的模型和大规模服务用户至关重要。通常, 4 MIN READ
开发与优化

CUTLASS 3.x:用于 GEMM 内核设计的正交、可重用和组合抽象

GPU 上的 GEMM 优化是一个模块化问题。高性能实现需要指定超参数,例如图块形状、数学和复制指令以及线程束专用方案。 3 MIN READ
生成式人工智能/大语言模型

新一代的 FlashAttention

NVIDIA 很高兴能与 Colfax、Together.ai、Meta 和普林斯顿大学合作,利用 Hopper GPU 架构和… 1 MIN READ