立即下载 DOCA,开启高性能AI 网络之旅,实现“一站式” 编程
网络安全/欺诈检测

借助 NVIDIA GPU 和无边缘系统提高大型语言模型的安全性

Edgeless Systems 推出了 Continuum AI,这是首款生成式 AI 框架,始终通过机密计算对提示进行加密,方法是将机密 VM 与 NVIDIA H100 GPU 和安全沙盒相结合。

该平台的推出凸显了 AI 部署的新时代,在这个时代,强大的 LLM 的优势可以在不影响数据隐私和安全的情况下实现。Edgeless Systems 是一家德国网络安全公司,致力于开发用于机密计算的开源软件,该公司正在与 NVIDIA 合作,助力各行各业的企业满怀信心地将 AI 集成到其运营中。

机密 LLM 平台不仅仅是一项技术进步,而是迈向组织可以安全利用 AI (即使是最敏感数据) 的未来的关键一步。

Continuum 技术有两个主要的安全目标。它首先保护用户数据,同时还保护 AI 模型权重不受基础设施、服务提供商和其他的影响。基础设施包括给定 AI 应用运行所依赖的基本硬件和软件堆栈,这也包括所有底层云平台,就 ChatGPT 而言,这将是 Microsoft Azure。服务提供商是提供和控制实际 AI 应用的实体,就 ChatGPT 而言,这将是 OpenAI。

Continuum 的工作原理

Continuum 依赖于两个核心机制:机密计算和高级沙箱。机密计算是一种基于硬件的技术,即使在处理过程中也能对数据进行加密。此外,机密计算使得验证工作负载的完整性成为可能。

机密计算由 NVIDIA H100 Tensor Core GPU 和先进的沙盒技术提供支持,使客户能够保护用户数据和 AI 模型。它通过创建一个将基础设施和服务提供商与数据和模型分开的安全环境来实现这一点,该技术还包括热门的 AI 推理服务,例如 NVIDIA Triton 推理服务器

Continuum represented by green boxes, protection for prompts and the corresponding responses through encryption when they travel to and from the AI model.
图 1.使用模型时显示加密提示的工作流程

即使这些安全机制到位,AI 代码也可能来自第三方,这可能会意外或恶意泄露提示,例如将提示以纯文本形式写入磁盘或网络中。

一种解决方案是彻底审查 AI 代码。但是,由于 AI 代码的复杂性和定期更新,这不切实际。

Continuum 通过在受计算保护的机密 AI 工作者的沙盒中运行 AI 代码来解决这一问题。一般来说,沙盒是一种环境,防止应用程序与系统其余部分交互。它在经过调整的 Google 的 gVisor 沙盒版本中运行 AI 代码,这可确保 AI 代码无法以纯文本泄露提示和响应。AI 代码唯一能做的就是接收加密提示、查询加速器并返回加密响应。

有了这个架构,您的提示甚至可以免受提供 AI 代码的实体的攻击。简而言之,对于众所周知的 ChatGPT,这意味着您不必信任 OpenAI(提供 AI 代码的公司)或 Microsoft Azure(运行基础设施的公司)。

架构

Continuum 由两部分组成:服务器端和客户端。服务器端托管 AI 服务,并安全地处理提示。客户端验证服务器,加密提示,并发送推理请求。让我们深入探讨组件、它们的交互方式以及各自角色的详细信息。

服务器端托管推理服务。其架构包括两个主要组件:工作者认证服务.

Worker 节点是后端的核心,它托管 AI 模型并服务推理请求。必要的推理代码和模型由推理和模型所有者外部提供。容器化的推理代码(称为 AI 代码)在一个安全的环境中运行。

每个工作者都是运行 Continuum OS 的机密虚拟机 (CVM)。此操作系统最小、不可变,并可通过 远程认证 进行验证。Continuum OS 在沙盒中托管工作负载,并通过加密代理调节网络流量。

Worker 提供一个 HTTPS API 来管理 (启动和停止) AI 代码容器。

AI 代码沙盒

推理所有者提供的 AI 代码在 gVisor 沙盒中运行,该沙盒将 AI 代码与主机隔离开来,在用户空间内核中处理系统调用,并阻止网络流量以防止数据泄露。

加密代理

每个 AI 代码都有一个附加的代理容器,这是其与外部世界的唯一连接。代理在客户端管理 提示加密,解密传入的请求并将其发送到沙盒。在相反方向,它对响应进行加密并将其发送回用户。代理支持各种 API 适配器,例如 OpenAITriton Generate

认证服务

CVM 的认证功能可确保 Worker 的完整性和真实性,从而使服务提供商和客户端能够验证 Worker 的完整性,以及他们是否与良性部署进行交互。

认证服务(AS)是集中管理的。在服务器端,AS 根据每个工作者的认证声明对其进行验证。在客户端,AS 提供系统级认证端点,并处理密钥交换以实现即时加密

AS 在机密虚拟机 (CVM) 中运行。在初始化期间,服务提供商使用 Continuum CLI 通过验证 AS 认证报告来建立信任。

工作流程

在图 2 中,该流程详细介绍了管理员如何通过 CLI 验证认证服务的完整性。验证成功后,管理员使用 CLI 设置清单,然后直接与 worker 交互,使用 worker API 配置 AI 代码。

工作者向 AS 注册,该 AS 会验证其认证报告。经过验证的工作者会收到推理机密,然后可以处理推理请求。

用户直接与 AS 和工作者进行交互,或通过受信任的 Web 服务进行交互。用户使用 AS 验证部署并设置推理机密,然后他们可以向服务发送加密提示,加密代理解密这些提示,将其转发到沙盒,重新加密响应,然后将其发送给用户。

Green boxes display Continuum sandboxing.
图 2.显示 Continuum 不同组件与最终用户之间交互的工作流程

如需了解更多详情,请查看 Continuum,以保持在企业级机密 AI 领域的领先地位。

 

标签