WEKA 是可扩展软件定义数据平台的先驱，NVIDIA 正在携手合作，将 WEKA 的先进数据平台解决方案与功能强大的 NVIDIA BlueField DPU 相结合。
WEKA 数据平台高级存储软件可充分发挥 AI 和性能密集型工作负载的潜力，而 NVIDIA BlueField DPU 则彻底改变了数据的访问、移动和安全性。这些前沿技术的集成将开创数据管理效率和速度前所未有的新时代，并有望重塑高性能数据访问的格局。
解决高效的 AI 工作流程
AI 的迅速崛起推动了计算能力和网络速度的指数级增长，对存储资源提出了非常高的需求。NVIDIA GPU 可提供令人惊叹的可扩展、高效计算能力，同时还需要高速数据访问。
WEKA 与 NVIDIA 的合作应对了这一挑战。它们共同满足了对 PB 级数据进行高带宽网络访问以执行模型训练和推理任务 (包括 检索增强型生成 (RAG)) 的关键需求。
该联合解决方案专为处理丰富的图像和视频数据、向量数据库以及大量元数据保存的复杂性而定制。这可确保无缝高效的 AI 工作流，使集成及时成为数据驱动创新未来的关键。
提高吞吐量、延迟和安全性
合作的核心是集成 WEKA 客户端，并使用 Virtio-FS 代码完成。它直接在 BlueField DPU 上运行，而不是在主机服务器的 CPU 上运行。这种创新方法具有以下关键优势：
- 提高吞吐量 ：BlueField 硬件加速功能可实现更快的数据传输速率。
- 降低延迟 ：通过在 BlueField DPU 上运行 WEKA 客户端，数据访问操作绕过主机 CPU，从而显著降低延迟。
- CPU 卸载 ：通过将 WEKA 客户端迁移到 DPU，宝贵的主机 CPU 资源可用于应用程序处理，从而有可能提高整体系统性能和效率。
- 增强安全性 ：将存储操作卸载到 DPU 会创建额外的隔离层，从而增强整体系统安全性。
Virtio-FS 代码实现有助于主机系统与网络数据之间的无缝通信，在不牺牲性能的情况下实现高效的文件系统操作。通过在 BlueField DPU 上运行 WEKA 客户端，可以从 CPU 分流文件系统任务，从而减少开销，并释放高达 20% 的 CPU 容量用于应用程序。
这种方法还可确保虚拟化环境中的本地文件系统效率和跨平台兼容性。此外，Virtio-FS 旨在适应不断发展的 DPU 技术， NVIDIA DOCA 软件框架 可简化未来的开发流程，并兼容新一代 NVIDIA BlueField DPU。
将 Virtio-FS 与 NVIDIA BlueField DPUs 结合使用，将高效、直接的文件共享与强大的卸载和加速功能相结合。这种协同效应可提高性能、降低系统复杂性，并支持非常适合 AI 工作负载的现代可扩展架构。
硬件加速数据处理
用于 AI 训练和推理的存储提出了独特的挑战，每个挑战都有不同的要求。对于大型数据集和写入密集型操作，训练需要高吞吐量，而推理则需要出色的读取性能和低延迟来实现实时响应。这两种情况通常都依赖于共享文件系统。NVIDIA BlueField DPU 通过提供硬件加速数据处理来优化训练和推理工作负载。
针对 AI 模型训练进行优化
AI 模型训练对存储提出了巨大的需求，需要快速访问庞大的数据池来支持 GPU 生产力。训练过程包括定期读取大型数据池，以及频繁的持续写入操作，例如日志记录、保存检查点和记录指标。BlueField DPU 提供强大的写入性能和优化的读/写平衡，并有效提供高 IOPS。
低延迟和高读取性能适用于推理
AI 推理存在不同的存储需求，需要快速访问来自多个来源的少量数据，以保持较低的用户响应时间。低延迟对于实时或近乎实时的处理至关重要，因为延迟会影响应用程序的响应速度和有效性。推理通常需要使用多个经过训练的模型和其他数据源来做出快速预测或决策。BlueField DPU 提供快速读取性能，这对于保持数据流畅运行至关重要，可为时间敏感型 AI 应用提供准确输出。
平衡训练和推理，提升 AI 性能和效率
训练和推理的特定压力略有不同。平衡这些需求对于构建高效且富有弹性的 AI 存储架构至关重要，对于创建有效且稳健的 AI 存储解决方案也至关重要。将 WEKA 数据平台客户端与 NVIDIA BlueField DPU 集成，可提高训练和推理工作负载的存储性能，并提高解决方案的效率和安全性。
结束语
在 NVIDIA BlueField DPU 上运行 WEKA 客户端的集成有助于从 WEKA 文件系统访问文件，以充分发挥性能密集型工作负载的潜力，并提高数据的访问、移动和安全性。
在 Supercomputing 2024 大会上，WEKA 和 NVIDIA 通过现场演示展示了集成解决方案的实际优势。与会者见证了通过提高数据访问速度和高效的工作负载处理来加速 AI 数据处理。我们的专家团队随时可以解答您的问题，并就此解决方案如何改变您的数据中心运营提供见解。
详细了解 WEKA 与 NVIDIA 之间的合作：
