数据中心/云端

2025年 9月 17日

用于降低 AI 推理延迟的预测性解码简介

使用大语言模型（LLM）生成文本时，通常会面临一个基本瓶颈。尽管 GPU 能够提供强大的计算能力，但由于自回归生成本质上是顺序进行的，
2 MIN READ
2025年 9月 16日

利用 NVIDIA Run:ai 模型流技术降低大型语言模型推理的冷启动延迟

部署大语言模型（LLM）在优化推理效率方面带来了显著挑战。其中，冷启动延迟——即模型加载到 GPU 显存所需的时间较长…
5 MIN READ
2025年 9月 10日

开发者现在可以直接从自己喜欢的第三方平台下载 CUDA

对开发者而言，构建和部署应用往往充满挑战，需要协调软件与硬件功能之间的复杂关系。确保每个基础软件组件不仅正确安装，而且版本符合要求，
1 MIN READ
2025年 9月 10日

使用 NVIDIA NIM Operator 3.0.0 部署可扩展的 AI 推理

AI 模型、推理引擎后端以及分布式推理框架在架构、复杂性和规模上持续演进。面对快速的技术变革，
3 MIN READ
2025年 9月 9日

NVIDIA Rubin CPX 加速百万级以上 token 上下文工作负载的推理性能和效率

推理正成为人工智能复杂性的前沿领域。现代模型正逐步演变为具备多步推理能力、持久化记忆和长时程上下文理解的代理式系统，使其能够胜任软件开发、
2 MIN READ
2025年 9月 9日

NVIDIA Blackwell Ultra 首次亮相 MLPerf 完成推理新纪录

随着大语言模型（LLM）规模的不断扩大，其智能水平也显著提升，领先开发者推出的开放模型已具备数千亿参数。与此同时，
3 MIN READ
2025年 9月 9日

如何利用跨规模网络将分布式数据中心连接成大型 AI 工厂

AI 技术日益复杂，训练与推理领域的新进展对数据中心提出了更高的要求。尽管数据中心的功能正在迅速扩展，但其基础设施受限于基本的物理条件，
1 MIN READ
2025年 9月 8日

如何使用 Outerbound 和 DGX 云 Lepton 自行构建 AI 系统

我们往往容易低估实际生产级 AI 系统所涉及的组件复杂性。无论是构建融合内部数据与外部大语言模型的智能体，还是提供按需生成动画的服务，
3 MIN READ
2025年 9月 3日

南北向网络：加速企业 AI 工作负载的关键

在 AI 基础架构中，数据为计算引擎提供关键燃料。随着代理式 AI 系统的持续演进，多个模型与服务相互协作，需要获取外部上下文并实时做出决策，
2 MIN READ
2025年 9月 2日

降低模型部署成本，同时通过 GPU 显存交换保持性能

大规模部署大语言模型（LLM）面临双重挑战：一方面需保障高需求时段的快速响应能力，另一方面又要有效控制 GPU 成本。组织通常面临两难选择：
2 MIN READ
2025年 8月 27日

如何通过共享内存寄存器溢出来提高 CUDA 内核性能

当 CUDA 内核所需的硬件寄存器数量超过可用数量时，编译器会将多余的变量溢出到本地内存中，这一过程称为寄存器溢出。
3 MIN READ
2025年 8月 26日

行业协作共推 NVIDIA CPO 技术

NVIDIA 通过光、电组件的无缝集成，重塑数据中心互连新格局。这一突破的关键在于与整个行业的合作伙伴的紧密合作。
1 MIN READ
2025年 8月 25日

NVFP4 实现 16 位训练精度，4 位训练速度和效率

近年来，AI工作负载呈指数级增长，这不仅体现在大型语言模型（LLM）的广泛部署上，也反映在预训练和后训练阶段对处理更多token的迫切需求。
2 MIN READ
2025年 8月 22日

揭秘 NVIDIA Blackwell Ultra：推动 AI 工厂时代的芯片动力

作为 NVIDIA Blackwell 架构系列的最新成员，NVIDIA Blackwell Ultra GPU 依托核心创新，
5 MIN READ
2025年 8月 21日

借助 NVIDIA NVLink 和 NVLink Fusion 扩展 AI 推理性能和灵活性

AI 模型复杂性的指数级增长驱动参数规模从数百万迅速扩展到数万亿，对计算资源提出了前所未有的需求，必须依赖大规模 GPU 集群才能满足。
2 MIN READ
2025年 8月 21日

更少的编码，更多的科学：借助 OpenACC 和统一内存简化 GPU 上的海洋建模

NVIDIA HPC SDK v25.7 为采用 GPU 加速的高性能计算（HPC）应用开发者带来了重大突破。
3 MIN READ