网络安全/欺诈检测

使用 NVIDIA DPU 和 NVIDIA DOCA 为人工智能时代改造数据中心

NVIDIA BlueField-3 数据处理器 (DPUs) 现已全面投产, 已在 NVIDIA GTC 2023宣布 被 Oracle Cloud Infrastructure (OCI) 选择实现更高的性能,更好的效率和更强的安全性。

作为一个 400 Gb / s 的基础设施计算平台, BlueField -3 使组织能够大规模部署和运营数据中心。 NVIDIA DOCA 软件框架现在支持 BlueField -3 ,使成千上万的开发人员能够利用第三代 DPU 平台的力量,快速创建加速的应用程序和服务。

从数据中心到人工智能工厂

数据中心是新兴的人工智能驱动经济的核心,数据是原材料,人工智能算法是将数据转化为有价值见解的处理引擎。 BlueField -3 是为世界数据中心提供动力的 NVIDIA 加速计算堆栈的基础。通过卸载、加速和隔离数据中心控制平面, BlueField -3 DPU 创建了一个安全、加速和可持续的基础设施,用于在节点集群中运行人工智能和其他现代工作负载,现在作为一个统一的计算平台运行。

BlueField -3 专为数据中心规模的计算而设计,可提供 400 Gb / s 以太网和 InfiniBand 连接,比上一代多 4 倍的计算能力、高达 4 倍的加密加速速度、 2 倍的存储处理速度和 4 倍的内存带宽,同时通过 NVIDIA DOCA 软件框架提供完全的向后兼容性。

NVIDIA DOCA 引领云服务加速发展

NVIDIA DOCA 是一个专门为 BlueField DPU 设计的 SDK 和加速框架。 DOCA 旨在通过为 BlueField DPU 快速创建和部署应用程序和服务来解锁数据中心创新。

NVIDIA DOCA 拥有丰富的库、驱动程序和 API ,是 BlueField DPU 开发人员的“一站式商店”,也是加速云基础设施服务的关键。这使得 NVIDIA DOCA 成为 NVIDIA 人工智能云服务战略的关键组件,该战略旨在为加速数据中心工作负载和大规模部署人工智能应用程序提供一个灵活而强大的平台。

超过4700名早期访问开发人员已经在使用 NVIDIA DOCA 创建 BlueField 应用程序, NVIDIA 很高兴宣布 NVIDIA DOCA 全面可用,这将向所有人开放访问。

Diagram showing NVIDIA DOCA software framework, including applications, services, libraries, and drivers
图 1 . NVIDIA DOCA 2.0 软件框架

NVIDIA DOCA 2.0 支持新的 BlueField -3 个用例

最新发布的 NVIDIA DOCA 2.0 增加了对 BlueField -3 数据路径加速器( DPA )编程子系统的支持,包括 DOCA IPsec 加密/解密库、设备认证和 YARA 规则在内的多项安全增强。还包括对 DOCA Flow 库的增强功能。

NVIDIA DOCA 针对 BlueField -3 DPA 的可编程性

NVIDIA DOCA 2.0 添加了增强功能,以利用 BlueField -3 DPA 编程子系统。 DPA 是一种高度可编程的嵌入式处理器,存在于 BlueField -3 DPU 中。它专为网络密集型、低计算量任务而构建,如设备仿真、拥塞控制、自定义协议等。

NVIDIA DOCA DPA 是 NVIDIA DOCA SDK 包的一部分,它提供了一个用于卸载以网络为中心的代码以在 DPA 处理器上运行的编程模型。 DPA 有助于从 CPU 卸载更多类型的流量,并通过 DPU 加速提高性能。

将用于设备仿真的 VirtIO 卸载到 BlueField -3 DPA

在使用 VirtIO 网络进行设备仿真时, NVIDIA DOCA 和带有 DPA 的 BlueField -3 比以前的选项有了显著的改进。在虚拟化环境中,虚拟机( VM )需要像物理机一样访问网络。

在本例中,虚拟机通常调用 CPU 来处理特定任务,例如访问 NIC 。将此任务从 CPU 卸载到 BlueField -3 上专门构建的 DPA 引擎,可以实现比 BlueField -2 高 2 倍的性能,并具有更高的效率,有助于降低数据中心功耗。这有效地消除了数据中心网络税,否则会使应用程序失去 CPU 个核心/周期。

与 NVIDIA DOCA IPsec 的安全通信

IPsec 是一种安全协议,提供加密、身份验证和完整性服务,以保护 IP 数据包免受未经授权的访问、篡改或窃听。对安全和高速通信的日益增长的需求给传统的基于 CPU 的 IPsec 处理带来了压力,使卸载成为一种有吸引力的解决方案。

在加速防火墙解决方案中,将 IPsec 卸载到 BlueField -3 DPU 可以优化安全性并加速性能。通过防火墙的流量可以卸载到 DPU ,并通过 IPsec 隧道发送到接收主机,例如,提供具有 200 Gbps 双向流量的 32K 并发 IPsec 隧道。 这降低了 CPU 的利用率,并通过快速、高效的方法管理可信流量。需要进行威胁检查的剩余流量通过主机和 CPU 进行路由。此过程现已优化:由于 CPU 不再管理 IPsec 流量,因此防火墙应用程序可提供更好的性能。

DOCA IPsec 库的添加为下一代防火墙(NGFW)应用程序提供了显著的好处。库中包含的资源池,包括消息模板、预先编写的代码和子例程,有助于简化整个开发过程并减少TTM。 DOCA IPsec 库与 DOCA Flow库互操作,使开发人员能够将多个 DOCA Flow 管道链接在一起,用于各种网络管道设计(例如,DOCA Flow NAT管道)。

最后, NVIDIA DOCA 现在能够以更高的速率对新路由和 NAT 表进行编程,使以近线速率进行 IPsec 加密和解密既可行又实用,同时消除了 CPU 的负担。

5G 工作负载的高效 GPU 通信

NVIDIA Aerial 是一个用于构建高性能、软件定义的 5G L1 堆栈的 SDK ,该堆栈在 GPU 上通过并行处理进行了优化。​ 具体而言, NVIDIA Aerial SDK 可用于构建基带单元( BBU )软件,该软件负责通过无线电单元( RU )发送(下行链路)或接收(上行链路)拆分为多个以太网数据包的无线客户端数据帧。​

在上行链路中, BBU 接收分组,验证它们,并在触发信号处理之前重建每个 RU 的原始数据帧。使用 NVIDIA Aerial SDK ,这种情况发生在 GPU 中, CUDA 内核专用于每个时隙的每个 RU ​. 然而,随着信元数量的增加,网卡和 GPU 之间的 CPU 功能成为瓶颈。​

NVIDIA DOCA 软件框架提供了一种将 CPU 从关键路径中删除并实现 NIC 和 CUDA 内核之间的直接通信的方法( GPU 直接异步内核启动技术)。新的 DOCA GPU NetIO 库提供了 CUDA 设备功能,应用程序可以在 CUDA kernel 内调用这些功能,以便在不需要 CPU 内核或内存的情况下直接向 GPU 发送和接收数据包。

通过这种方式, NVIDIA Aerial BBU 软件可以提供一种高度并行化和可扩展的方法,每个单元专用一个 CUDA 内核来接收数据包。这使系统容量提高了 4 倍(从以 CPU 为中心的 4 个单元到以 GPU 为中心通过 DOCA GPU NetIO 的 16 个单元)。

CPU 不再需要与 GPU 通信来提供数据包信息,使 CPU 能够专注于应用程序处理,而不是管理网络开销。​ 注册 NVIDIA DOCA GPUNetIO 抢先体验。

加速人工智能服务

为了充分发挥人工智能的潜力,数据中心正转向加速计算,以满足日益增长的计算需求。 BlueField -3 是第三代基础设施计算平台,支持 400 Gb / s 连接,并提供前所未有的计算和加速能力。在 NVIDIA DOCA 2.0 版本的支持下, BlueField -3 正在为人工智能时代改造云、超级计算和企业数据中心。

加入 NVIDIA 创始人兼首席执行官黄仁勋( Jensen Huang )的 NVIDIA GTC 2023 keynote ,了解 NVIDIA BlueField DPU 和 NVIDIA DOCA 的更多信息。

 

标签