加速计算库
2024年 9月 16日
借助 NVIDIA 集合通信库实现显存高效、快速初始化和成本估算优化 2.22
在过去几个月中,NVIDIA 集合通信库(NCCL)开发者一直在努力开发一系列新的库功能和错误修复。在本文中,我们将讨论 NCCL 2.22…
2 MIN READ
2024年 7月 11日
新一代的 FlashAttention
NVIDIA 很高兴能与 Colfax、Together.ai、Meta 和普林斯顿大学合作,利用 Hopper GPU 架构和…
1 MIN READ
2024年 4月 19日
测量多流工作负载的 GPU 占用率
随着新一代产品的推出, NVIDIA GPU 的性能也变得越来越强大。这种提升通常有两种形式。每个流多处理器 (SM) (GPU 的主力)…
3 MIN READ
2024年 3月 27日
高效的 CUDA 调试:将 NVIDIA Compute Sanitizer 与 NVIDIA 工具扩展程序结合使用并创建自定义工具
NVIDIA Compute Sanitizer 是一款功能强大的工具,可以节省时间和精力,同时提高 CUDA 应用程序的可靠性和性能。
5 MIN READ
2024年 3月 25日
在加速计算时代构建高性能应用
AI 正在通过新的数据处理、模拟和建模方法增强高性能计算 (HPC).由于这些新 AI 工作负载的计算需求,HPC 正在快速扩展。
2 MIN READ
2024年 3月 8日
cuTENSOR 2.0:用于加速张量计算的全面指南
NVIDIA cuTENSOR 是一个 CUDA 数学库,提供经过优化的张量运算。张量是一种密集的多维数组或数组片段。cuTENSOR 2.
5 MIN READ
2024年 3月 8日
cuTENSOR 2.0:应用程序和性能
虽然 第 1 部分 专注于使用全新的 NVIDIA cuTENSOR 2.0 CUDA 数学库,但本文将介绍其他使用模式,
4 MIN READ