Posts by Fred Oh
数据中心/云端
2024年 9月 16日
借助 NVIDIA 集合通信库实现显存高效、快速初始化和成本估算优化 2.22
在过去几个月中,NVIDIA 集合通信库(NCCL)开发者一直在努力开发一系列新的库功能和错误修复。在本文中,我们将讨论 NCCL 2.22…
2 MIN READ
生成式人工智能/大语言模型
2024年 9月 11日
用于直线 CUDA 图形和其他性能增强的恒定时间启动
CUDA Graphs 是一种将 GPU 运算定义为图形(而非一系列流启动)并将其批量处理的方法。CUDA Graph 将一组 CUDA…
3 MIN READ
数据中心/云端
2024年 9月 6日
利用 NVIDIA Magnum IO NVSHMEM 3.0 实现跨平台应用程序的可移植性和兼容性增强
NVSHMEM 是一个并行编程接口,可为 NVIDIA GPU 集群提供高效且可扩展的通信。NVSHMEM 是 NVIDIA Magnum…
3 MIN READ
数据中心/云端
2024年 8月 8日
通过降低指令缓存未命中率提高 GPU 性能
GPU 专为高速处理大量数据而设计。GPU 具有称为流多处理器 (SM) 的大量计算资源,以及一系列可为其提供数据的设施:高带宽内存、
2 MIN READ
数据中心/云端
2024年 7月 17日
NVIDIA 全面转向开源 GPU 内核模块
借助 R515 驱动程序,NVIDIA 于 2022 年 5 月发布了一套开源的 Linux GPU 内核 模块,该模块采用双许可证,
3 MIN READ
生成式人工智能/大语言模型
2024年 7月 11日
新一代的 FlashAttention
NVIDIA 很高兴能与 Colfax、Together.ai、Meta 和普林斯顿大学合作,利用 Hopper GPU 架构和…
1 MIN READ