Posts by Fred Oh
数据中心/云端
2024年 8月 8日
通过降低指令缓存未命中率提高 GPU 性能
GPU 专为高速处理大量数据而设计。GPU 具有称为流多处理器 (SM) 的大量计算资源,以及一系列可为其提供数据的设施:高带宽内存、
2 MIN READ
数据中心/云端
2024年 7月 17日
NVIDIA 全面转向开源 GPU 内核模块
借助 R515 驱动程序,NVIDIA 于 2022 年 5 月发布了一套开源的 Linux GPU 内核 模块,该模块采用双许可证,
3 MIN READ
生成式人工智能/大语言模型
2024年 7月 11日
新一代的 FlashAttention
NVIDIA 很高兴能与 Colfax、Together.ai、Meta 和普林斯顿大学合作,利用 Hopper GPU 架构和…
1 MIN READ
生成式人工智能/大语言模型
2024年 6月 18日
使用 NVIDIA CUDA Toolkit 12.4 编译器创建运行时 Fatbin
CUDA Toolkit 12.4 引入了一个新的 nvFatbin 库,用于在运行时创建 fatbins。fatbins,
4 MIN READ
生成式人工智能/大语言模型
2024年 5月 10日
具有条件节点的 CUDA 图的动态控制流
CUDA 图 可以显著提高性能,因为驱动程序能够使用任务和依赖关系的完整描述来优化执行。特别是在静态工作流中,图形可以提供难以置信的好处,
2 MIN READ
数据中心/云端
2024年 4月 19日
测量多流工作负载的 GPU 占用率
随着新一代产品的推出, NVIDIA GPU 的性能也变得越来越强大。这种提升通常有两种形式。每个流多处理器 (SM) (GPU 的主力)…
3 MIN READ