数据中心/云端

使用 NVIDIA BlueField -3 DPU 为下一波应用程序提供动力

ChatGPT 、 Stable Diffusion 、 DALL-E 和类似的应用程序唤醒了世界生成式人工智能。 ChatGPT 是历史上增长最快的应用程序。其易用性和令人印象深刻的功能在短短几个月内吸引了超过一亿用户。

世代人工智能为公司重新构想其产品和商业模式创造了一种紧迫感。正如 NVIDIA 首席执行官黄仁勋( Jensen Huang )在其GTC 2023 Keynote,人工智能的 iPhone 时代已经到来。 NVIDIA 加速计算通过解决普通计算机无法解决的问题,帮助世界企业利用人工智能。

NVIDIA BlueField DPU 功率加速计算

NVIDIA 加速计算技术堆栈使每个行业都能利用人工智能的力量,提供运行下一波应用程序所需的性能、规模和效率水平。​

加速计算主要基于三个基本要素:​

  • CPU ,用于串行处理和运行超线程应用程序。
  • GPU 擅长并行处理,并针对加速现代工作负载进行了优化。
  • DPU ,非常适合基础设施计算任务;用于卸载、加速和隔离数据中心网络、存储、安全和可管理性工作负载。

在现代软件定义的数据中心中,执行虚拟化、网络、存储和安全的操作系统可能会消耗数据中心 CPU 核心和相关电源的近一半。数据中心必须加速每个工作负载以回收电力,并为创收工作负载释放 CPU

NVIDIA BlueField 数据处理器 (DPUs)卸载并加速数据中心操作系统和基础设施软件。

NVIDIA 正在其数据中心计算系统中集成 BlueField -3 ,包括第三代NVIDIA OVX 系统,用于创建和操作NVIDIA Omniverse数据中心规模的应用程序。有关详细信息,请参阅Omniverse at Scale: NVIDIA Announces Third-Generation OVX Computing Systems to Power Industrial Metaverse Applications.

使用 DPU 的领先企业

Oracle Cloud Infrastructure (OCI)在 GTC 2023 发布公告后,最近公布了将 NVIDIA BlueField -3 DPU 集成到其网络堆栈中的计划。该计划旨在通过将网络和安全任务从 CPU 卸载到 DPU 来优化数据中心性能,从而实现更快、更高效的处理

通过利用 BlueField -3 DPU 的力量, OCI 准备增强其基础设施,为客户提供无缝的云体验。有关更多详细信息,请参阅Oracle Cloud Infrastructure Chooses NVIDIA BlueField Data Center Acceleration Platform.

此外,包括 Check Point 、 Cisco 、 DDN 、 Dell EMC 、 Juniper 、 Palo Alto Networks 、 Red Hat 和 VMWare 在内的二十多个生态系统合作伙伴使用 BlueField 数据中心加速技术来更高效地运行其软件平台

NVIDIA 〔 BlueField 〕 -3 平台概述

NVIDIABlueField-3,拥有 220 亿个晶体管,是第三代 NVIDIA DPU 。这是一款芯片上系统( SoC )设备,可提供高达 400 Gbps 的以太网和 InfiniBand 连接。 BlueField -3 最多支持四个不同的 MAC 地址,可以提供各种端口配置,从运行 400 Gbps 的单个端口( PAM4 112 的四个通道)到运行速度为 25 、 50 或 100 Gbps 的四个端口。

与上一代相比, BlueField -3 具有 2 倍的网络带宽、 4 倍的计算能力和几乎 5 倍的内存带宽,同时通过NVIDIA DOCA软件框架

这些关键的进步使 BlueField -3 能够以高达 8 倍的速度运行工作负载,同时降低 TCO 并提高数据中心的能效。例如, BlueField -3 从 CPU 中卸载了 HPC / AI MPI 集体操作,速度提高了近 20% ,这意味着大型超级计算机节省了 1800 万美元的成本。有关详细信息,请参阅Take the Green Train: NVIDIA BlueField DPUs Drive Data Center Efficiency.

Graphs of Stream Benchmark and SPECINT2K17 testing show that NVIDIA BlueField-3 DPUs have 4.2x the memory bandwidth and 4x the compute power compared to the previous generation.
图 1 。与 NVIDIA BlueField -2 DPU 相比, NVIDIA BlueField -3 DPU 的内存带宽和计算能力提高了四倍

BlueField -3 DPU 由三个主要区块组成:

  • 网络:最新一代 NVIDIAConnectX-7 SmartNIC具有集成的网络和安全硬件加速器。
  • 可编程计算机:一个由 16 ARM A78 v8 . 2 组成的强大集群,具有针对控制平面应用优化的完全一致的低延迟网状互连。数据平面可编程性是通过加速流水线和新的可编程数据路径加速器( DPA )实现的。 DPA 是一种 I / O 和数据包处理器,由 16 个超线程内核组成,专门用于 IO 密集型、低计算任务,如设备仿真、拥塞控制、自定义协议等。​
  • 记忆力:双 64 位 DDR5-5600 内存接口( 80 GB 带宽)和集成 32 通道 PCIe Gen 5 . 0 交换机。 PCIe 接口可以分叉并用作服务器托管(端点)或自托管(根复合体),以管理 GPU 或直连 SSD 设备。

作为“服务器前面的服务器”, BlueField -3 是唯一一个具有集成 ASPEED AST2600 基板管理控制器( BMC )的 DPU 平台。 BlueField BMC 是一个专用处理器,用于监控 DPU 板的物理状态,并使系统管理员能够通过独立连接管理平台。这增强了系统的安全性、可靠性、可用性和可维护性。

DPU BMC 是一个受信任的实体,具有自己的外部信任根,以确保其固件的安全。它能够通过单独的带外管理网络提供和管理 BlueField DPU ,使用标准接口和 Redfish 协议来管理 DPU 的整个生命周期

BMC 的一些功能包括:

  • 控制台接口访问 BlueField DPU
  • 设置 BlueField UEFI 配置
  • 监测 BlueField DPU 及其资源
  • 更新和恢复 BlueField DPU 固件
  • 复位控制(即使 BlueField 操作系统停止)

BlueField -3 综合投资组合

NVIDIA 提供广泛的 BlueField -3 平台,旨在满足各种行业和用例的独特计算、内存和性能需求。这使客户能够选择符合其特定要求的 BlueField -3 产品,同时享受先进的功能和尖端的性能

NVIDIA BlueField-3 DPU flagship platforms and their target markets. 
1) Positioned for hyperscale HPC/AI applications, the NVIDIA B3240 platform provides two ports of 400G connectivity. 2) Positioned for mainstream HPC/AI applications, the NVIDIA B3140H provides one port of 400G connectivity and is a sub 75 watts platform. 3) Positioned for cloud computing applications, the NVIDIA B3210 and B3220 platforms provide two ports of 100 G and 200 G connectivity respectively. Both platforms are also offered with sub-75 watt options. 4) Lastly, the NVIDIA B3220SH provides two ports of 200G and is primarily positioned for storage applications.
图 2 : NVIDIA BlueField -3 DPU 旗舰平台,目标市场

目标市场和旗舰平台

BlueField -3 DPU 用于几个关键旗舰平台和目标市场,具体如下

超大型 HPC / AI

HPC 和 AI 工作负载是第一个采用 400 Gbps ( NDR InfiniBand 和 400 GbE )网络速度的工作负载,因为 HPC 是关于最大性能和巨大规模的。 BlueField 通过利用其 Arm 内核从系统主机 CPU 卸载消息传递接口( MPI )库的元素,扩展了 NVIDIA 的网络计算能力,并实现了非阻塞的集体操作。这使得系统主机 CPU 能够执行具有峰值重叠的计算。

B3240 :拥有满足最具挑战性的超大规模 HPC / AI 需求的性能和网络能力。这个 BlueField -3 平台为以下系统提供动力NVIDIA DGX H100承担科学研究或生成人工智能的工作量。它使用双 400 Gbps NDR 连接、 32 GB DDR5 内存子系统和 2 . 3 GHz 的 Arm 内核速度

b3140 小时:具有半高半长( HHHL )的外形尺寸,使其与大多数企业服务器兼容。该设备提供单个 400 Gbps 端口和 16 GB DDR5 内存,同时在低功耗范围内运行。这使其成为 HPC / AI 环境的理想选择,这些环境需要在有限空间或电源可用性的限制下实现可扩展性能。

云计算

云行业正在经历的快速增长要求云提供商不断创新和定制服务以满足客户需求。现代云平台使用基于虚拟机监控程序的虚拟化,以最大限度地增加在计算和数据中心级别分配给租户的虚拟实例数量。​ BlueField -3 支持多达 4096 个虚拟功能,使云提供商能够在云计算平台上托管比上一代多 4-8 倍的虚拟实例。​

​ B3220 :B3220 提供双 200 Gbps 支持、 32 GB DDR5 内存子系统和 2 . 3 GHz 的 Arm 内核速度 具有满足最具挑战性的云需求的性能和网络功能。这就是为什么超大型 Oracle 云基础设施( OCI )在其网络堆栈中添加了 BlueField -3 ,旨在提供最先进、可持续的云基础设施,并具有极高的性能。 B3220 平台还为NVIDIA OVX 3.0系统,实现更高的性能、零信任安全,并在云中无限扩展工业元宇宙应用程序。

B3210 :B3210 的速度为 100 Gbps ,最适合满足领先企业数据中心的需求。 B3210 是运行企业工作负载平台的目标 DPUVMware vSphere,为成千上万的公司提高性能、效率和安全性。

储存

b3220 什:B3220SH 自托管平台针对具有集成 NVMe oF 或 NVMe / TCP 或静止数据加速器的 NVMe 存储系统进行了优化。 B3220SH 可以使用其 x32 PCIe Gen 5 . 0 接口托管多达 16 个 SSD 。

业界领先的网络性能

BlueField -3 比其前代产品提供了显著的性能改进,使其成为需要高性能网络的数据密集型人工智能工作负载的理想解决方案。图 3 显示了基准测试结果,证明了领先的 BlueField -3 网络性能。

Test results comparing the NVIDIA BlueField-3 DPU to its previous generation (BlueField-2) show BlueField-3 provides 2.5x more CPS and 1.7x more PPS.
图 3 。 NVIDIA BlueField -3 和 BlueField 2 DPU 的测试结果比较

使用 NVIDIA BlueField -3 DPU 为您的应用程序供电

在云主导企业 IT 的时代,生成人工智能、数据科学和元宇宙应用程序等现代工作负载正在蓬勃发展。​ 为了解决对人工智能飙升的需求,云计算制造商主要转向 NVIDIA 加速计算 GPU 和 DPU 。​ ​

​ NVIDIA BlueField -3 DPU ,由供电NVIDIA DOCA software,将传统计算环境转变为高效、高性能、安全和可持续的数据中心,从而实现下一波应用程序的交付。有关更多信息,请查看BlueField-3 datasheetNetworking Resources.

 

Tags