AI 平台/部署

宣布推出适用于基准测试 AI 云基础设施的 NVIDIA 示例云

长期以来,在云端训练 大语言模型 (LLMs) 和部署 AI 工作负载的开发者和企业一直面临着一项根本性挑战:几乎不可能提前知道云平台是否能够提供其应用所需的性能、可靠性和成本效益。在这种情况下,理论峰值性能与实际现实结果之间的差异通常是进度与挫折之间的差异。

由于缺乏透明的 基准测试实践 、云提供商之间的结果和性能不一致,以及没有明确的标准,团队往往无法在关键的基础设施决策中做出决策。“良好”性能的真正含义是什么?如何比较各种云?您如何知道自己得到了回报?是否应该考虑可靠性?

今天,NVIDIA 正通过推出 NVIDIA Exemplar Clouds 来应对这些挑战。这项新计划旨在从 NVIDIA 云合作伙伴 (NCP) 生态系统开始,为 AI 云基础设施领域带来透明度、严谨性和再现性。

NCP 是专门的云提供商,他们围绕最新的 NVIDIA GPU 架构、软件堆栈和最佳实践构建自己的平台。到目前为止,还没有标准化或公开的方式来验证这些平台是否针对现实世界的 AI 工作负载进行了调整,或是否表现出开发者生产力所需的弹性。NVIDIA Exemplar Clouds 通过引入框架来评估提供商的实际性能和弹性,而不仅仅是理论规格,从而解决了这一问题。

NVIDIA Exemplar Clouds 的优势

借助 NVIDIA 示例云,每个参与的云提供商都会接受全面的评估流程,以反映现实世界的客户需求和卓越运营。要想获得 Exemplar 地位,NCP 需要在一套特定于工作负载的开放式 基准测试方案 中展示高性能和弹性,这些基准测试方案涵盖推理、微调和扩展预训练等工作负载。其结果是透明的苹果到苹果对比,使客户能够根据性能和 TCO 做出明智的决策。

NVIDIA 还通过 NVIDIA DGX 云基准测试 (NVIDIA Exemplar Clouds 计划标准的一部分) 分享 基准测试方法和结果 。提供这种工作负载逐个工作负载的透明度,使开发者、研究人员和企业能够让提供商承担责任,并满怀信心地优化自己的部署。这种方法还使 NCP 能够根据清晰、可操作的反馈不断改进其平台。

图 1 比较了使用 FP8 和 BF16 训练模型的总成本和总时间,如 NVIDIA DGX 云 Benchmarking Performance Explorer 所示。有关更多详细信息,请参阅 使用 NVIDIA DGX 云基准测试衡量和改进 AI 工作负载性能

Chart comparing ideal linear scaling to observed scaling for Llama 3.1 70B training across different GPU counts. The observed scaling line closely follows the ideal linear scaling line, demonstrating efficient parallelization.
图 1。使用 FP8 训练模型的总成本和总时间与 BF16 的比较,如 NVIDIA DGX Cloud Benchmarking Performance Explorer 所示

除了创建评估框架外,NVIDIA 还将与 NCP 合作,带来其软件、工具和流程套件,从而获得样板资格。该框架将评估真正的工作负载性能、弹性、用户访问、安全性等。

聚焦:Yotta 

NVIDIA 很高兴地宣布, Yotta 是首家加入 NVIDIA Exemplar Clouds 计划的亚太地区云提供商。作为印度的 AI 云提供商,Yotta 已证明能够在一系列要求严苛的 AI 工作负载中提供一致的高性能结果。

在接下来的几个月里,NVIDIA 团队将与 Yotta 在用户体验、性能和弹性方面开展合作。借助 NVIDIA Exemplar Clouds 计划,Yotta 的客户现在可以访问详细的基准测试数据,确切了解其基础设施在每个用例中的性能,并确信其工作负载将按预期运行,无需猜测,也不会出现意外。

NVIDIA 团队计划在未来几个月内与 Yotta 密切合作,对工作负载性能、弹性、安全性和其他推动 AI 用户体验的方面进行基准测试。

开始使用 

NVIDIA 示例云实现了世界级 AI 基础设施的普及。主权 AI 计划需要新的透明度和性能标准,我们正在帮助整个行业更快发展。示例云可帮助每个用户,无论其地理位置或规模如何,都可以放心地构建和部署 AI。如果您正在构建任务关键型 AI,并希望优化 AI 工作负载,请开始探索 NVIDIA DGX 云基准测试

如需了解更多信息,请与 NVIDIA 创始人兼首席执行官 Jensen Huang 一起参加 COMPUTEX 2025 主题演讲 ,并在 COMPUTEX 2025 上 参加 GTC Taipei 分会 ,时间截止至 5 月 23 日。

标签