云服务

2025年 9月 8日

如何使用 Outerbound 和 DGX 云 Lepton 自行构建 AI 系统

我们往往容易低估实际生产级 AI 系统所涉及的组件复杂性。无论是构建融合内部数据与外部大语言模型的智能体，还是提供按需生成动画的服务，
3 MIN READ
2025年 9月 2日

降低模型部署成本，同时通过 GPU 显存交换保持性能

大规模部署大语言模型（LLM）面临双重挑战：一方面需保障高需求时段的快速响应能力，另一方面又要有效控制 GPU 成本。组织通常面临两难选择：
2 MIN READ
2025年 8月 29日

小型语言模型如何成为可扩展代理人工智能的关键

代理式 AI 的迅速崛起，正在重塑企业、开发者以及整个行业对自动化与数字生产力的认知。从软件开发流程到企业级任务编排，
2 MIN READ
2025年 8月 25日

NVFP4 实现 16 位训练精度，4 位训练速度和效率

近年来，AI工作负载呈指数级增长，这不仅体现在大型语言模型（LLM）的广泛部署上，也反映在预训练和后训练阶段对处理更多token的迫切需求。
2 MIN READ
2025年 8月 1日

通过训练后量化优化 LLM 的性能和准确性

量化是开发者的核心工具，旨在以最小的开销来提高推理性能。通过以可控的方式降低模型精度，无需重新训练，该技术可显著降低延迟、
4 MIN READ
2025年 7月 15日

借助亚马逊云科技上的 NVIDIA Run:ai 加速 AI 模型编排

在开发和部署高级 AI 模型时，访问可扩展的高效 GPU 基础设施至关重要。但是，在云原生、容器化环境中管理此基础设施可能既复杂又昂贵。
1 MIN READ
2025年 7月 14日

借助 NCCL 2.27 实现快速推理和弹性训练

随着 AI 工作负载的扩展，快速可靠的 GPU 通信变得至关重要，这不仅适用于训练，而且越来越适用于大规模推理。
3 MIN READ
2025年 7月 7日

LLM 推理基准测试：使用 TensorRT-LLM 进行性能调优

这是大语言模型延迟 – 吞吐量基准测试系列的第三篇博文，旨在指导开发者如何使用 TensorRT-LLM 对 LLM 推理进行基准测试。
3 MIN READ
2025年 7月 7日

使用 DPU 加速的 Kubernetes 服务代理增强 AI 工厂

随着 AI 借助代理式 AI 向规划、研究和推理发展，工作流变得越来越复杂。为了高效部署代理式 AI 应用，AI 云需要软件定义、
2 MIN READ
2025年 7月 7日

提出一个维基百科规模的问题：如何利用数百万 token 的实时推理使世界更加智能

现代 AI 应用越来越依赖于将庞大的参数数量与数百万个令牌的上下文窗口相结合的模型。无论是经过数月对话的 AI 智能体、
3 MIN READ
2025年 6月 25日

NVIDIA DOCA 3.0 助力 AI 平台开启网络新纪元

NVIDIA DOCA 框架已发展成为新一代 AI 基础设施的重要组成部分。从初始版本到备受期待的 NVIDIA DOCA 3.0 发布，
3 MIN READ
2025年 6月 24日

隆重推出 NVFP4，实现高效准确的低精度推理

为了充分利用 AI，优化至关重要。当开发者考虑优化用于推理的 AI 模型时，通常会想到量化、蒸馏和剪枝等模型压缩技术。毫无疑问，
4 MIN READ
2025年 6月 24日

NVIDIA Run:ai 和 Amazon SageMaker HyperPod 携手简化复杂 AI 训练管理

NVIDIA Run:ai 和 Amazon Web Services 引入了集成，使开发者能够无缝扩展和管理复杂的 AI 训练工作负载。
2 MIN READ
2025年 6月 18日

抢先体验 NVIDIA GB200 系统如何帮助 LMarena 构建评估 LLM 的模型

在 NVIDIA 和 Nebius 的帮助下，加州大学伯克利分校的 LMArena 可以更轻松地了解哪些大语言模型在特定任务中表现出色。
2 MIN READ
2025年 6月 11日

隆重推出 NVIDIA DGX 云 Lepton：面向开发者的统一 AI 平台

AI 原生应用的时代已经到来。开发者正在构建先进的代理式 AI 和物理 AI 系统，但跨地区和 GPU 提供商进行扩展仍然是一项挑战。
2 MIN READ
2025年 6月 9日

借助 EoRA 快速恢复 LLM 压缩错误的免微调方法

模型压缩技术已经过广泛探索，可减少为大语言模型 (LLM) 或其他大型神经网络提供服务所需的计算资源。 但是，与未压缩的模型相比，
5 MIN READ