数据中心/云端

2025年 7月 23日

在 Azure 上使用 Apache Spark 和 NVIDIA AI 进行无服务器分布式数据处理

将大量文本库转换为数字表示 (称为嵌入) 的过程对于生成式 AI 至关重要。从语义搜索和推荐引擎到检索增强生成 (RAG) ，
2 MIN READ
2025年 7月 22日

了解 NCCL 调优以加速 GPU 之间的通信

NVIDIA 集合通信库 (NCCL) 对于 AI 工作负载中的快速 GPU 到 GPU 通信至关重要，可使用各种优化和调优来提升性能。但是，
3 MIN READ
2025年 7月 18日

使用 JAX 和 XLA 优化推理工作负载的低延迟通信

在生产环境中使用大语言模型 (LLM) 进行推理需要满足严格的延迟限制。此过程的关键阶段是 LLM 解码，
2 MIN READ
2025年 7月 18日

使用 Ansible 和 Git 实现 NVIDIA Air 网络设计自动化

NVIDIA Air 的核心是实现自动化。您可以对网络的每个部分进行编码和版本控制，并将其设置为自动触发。这包括创建拓扑、
2 MIN READ
2025年 7月 15日

NVIDIA Dynamo 新增对 AWS 服务的支持，可大规模提供经济高效的推理

Amazon Web Services (AWS) 开发者和解决方案架构师现在可以在基于 NVIDIA GPU 的 Amazon EC2…
2 MIN READ
2025年 7月 15日

借助 AWS 上的 NVIDIA Run:ai 加速 AI 模型编排

在开发和部署高级 AI 模型时，访问可扩展的高效 GPU 基础设施至关重要。但是，在云原生、容器化环境中管理此基础设施可能既复杂又昂贵。
2 MIN READ
2025年 7月 14日

NCCL 深度解析：跨数据中心通信与网络拓扑感知

随着 AI 训练规模的扩大，单个数据中心 (DC) 不足以提供所需的计算能力。
2 MIN READ
2025年 7月 14日

借助 NCCL 2.27 实现快速推理和弹性训练

随着 AI 工作负载的扩展，快速可靠的 GPU 通信变得至关重要，这不仅适用于训练，而且越来越适用于大规模推理。
3 MIN READ
2025年 7月 10日

InfiniBand 多层安全保护数据中心和 AI 工作负载

在当今数据驱动的世界中，安全性不仅仅是一项功能，更是基础。随着 AI、HPC 和超大规模云计算的指数级增长，
1 MIN READ
2025年 7月 7日

LLM 推理基准测试：使用 TensorRT-LLM 进行性能调优

这是大语言模型延迟 – 吞吐量基准测试系列的第三篇博文，旨在指导开发者如何使用 TensorRT-LLM 对 LLM 推理进行基准测试。
3 MIN READ
2025年 7月 7日

使用 DPU 加速的 Kubernetes 服务代理增强 AI 工厂

随着 AI 借助代理式 AI 向规划、研究和推理发展，工作流变得越来越复杂。为了高效部署代理式 AI 应用，AI 云需要软件定义、
2 MIN READ
2025年 7月 2日

先进的 NVIDIA CUDA 内核优化技术：手写 PTX

随着加速计算不断提升 AI 和科学计算各个领域的应用程序性能，人们对 GPU 优化技术的兴趣也越来越浓厚，以确保应用程序获得尽可能好的性能。
3 MIN READ
2025年 6月 25日

NVIDIA DOCA 3.0 助力 AI 平台开启网络新纪元

NVIDIA DOCA 框架已发展成为新一代 AI 基础设施的重要组成部分。从初始版本到备受期待的 NVIDIA DOCA 3.0 发布，
3 MIN READ
2025年 6月 24日

隆重推出 NVFP4，实现高效准确的低精度推理

为了充分利用 AI，优化至关重要。当开发者考虑优化用于推理的 AI 模型时，通常会想到量化、蒸馏和剪枝等模型压缩技术。毫无疑问，
4 MIN READ
2025年 6月 24日

NVIDIA Run:ai 和 Amazon SageMaker HyperPod 携手简化复杂 AI 训练管理

NVIDIA Run:ai 和 Amazon Web Services 引入了集成，使开发者能够无缝扩展和管理复杂的 AI 训练工作负载。
2 MIN READ
2025年 6月 18日

基准测试大型语言模型推理成本以实现更智能的扩展和部署

这是大语言模型延迟-吞吐量基准测试系列的第三篇博文，旨在指导开发者如何通过估算总体拥有成本 (TCO) 来确定 LLM 推理的成本。
3 MIN READ