衡量 AI Guardrails 在生成式 AI 应用中的有效性和性能

保护 AI 智能体和其他对话式 AI 应用，以确保安全、品牌和可靠的行为，这对企业至关重要。 NVIDIA NeMo Guardrails 通过 AI Guardrails 为内容安全、主题控制、越狱检测等提供强大的保护，以评估和优化 Guardrail 性能。

在本文中，我们将探索用于测量和优化 AI 护栏有效性的技术，确保您的 AI 应用在仔细定义的边界内运行，同时满足用户体验和其他设计要求。

NeMo Guardrails 提供了一个 评估工具 ，用于在给定特定 AI Guardrails 策略的情况下监控策略合规性。除了 LLM 生成响应的策略合规性率之外，该工具还提供了有关延迟和 LLM 令牌使用效率等关键性能指标的见解。本文将指导您完成评估工具，重点介绍每个指标在优化 AI 应用方面发挥的作用。

随着企业不断突破 AI 的极限，平衡性能和成本效益已成为重中之重。NeMo Guardrails 评估工具有助于解决关键的权衡取舍，无论是最大化吞吐量还是优化 token-usage，并提供全面的见解来指导决策制定。下面介绍了如何利用这些见解进一步优化生成式 AI 应用，以提高性能和可靠性。

使用 NeMo Guardrails 评估 AI guardrails 配置

NVIDIA NeMo Guardrails 引入了一种可靠的评估方法，该方法使用基于策略的 guardrails 来强制 AI 代理或 chatbot 助手的预期行为。

此方法的核心理念是，无论是防止有毒内容、确保主题响应，还是提供事实正确的信息，每个 guardrail 配置都应与一组定义明确的策略保持一致。

此方法基于使用精选交互数据集来衡量策略合规性。数据集中的每次交互都与您的策略定义的预期行为相匹配，因此您可以计算 策略合规性率 ，即完全遵守 guardrail 规则的交互百分比。这一单一指标类似于传统机器学习评估的 accuracy，可让您立即了解配置的整体有效性。为了全面了解，还必须考虑 LLM 响应延迟、token 使用率和整体吞吐量等指标。

在接下来的部分中，我们将讨论设置评估配置的详细信息。如需详细了解定义精确策略、创建和标注交互数据集，以及采用基于 LLM 的自动评审和人工评审来评估策略合规性，请参阅 综合评估方法指南 。

定义评估策略

以本示例为例， ABC 机器人是一个简单的 RAG 聊天机器人，其知识库由公司信息组成。在 policies.yml 文件中使用以下策略定义了聊天机器人的行为：

• 内容审核 ： Llama 3.1 NemoGuard 8B ContentSafety NIM 微服务通过防止机器人参与有毒、不安全的内容，增强了 LLM 的安全性和审核能力。
• 主题控制 ： Llama 3.1 NemoGuard 8B TopicControl NIM 微服务可确保机器人将对话集中在已批准的主题上，从而避免不当内容 。
• 越狱检测 ： NemoGuard JailbreakDetect NIM 微服务，以防止对抗企图。

要创建有效的 guardrail 评估配置，请遵循创建全面交互数据集的基本步骤，使用 LLM-as-judge 进行初始评估，并手动标注任何复杂的交互，以确保准确性和可靠性。

创建交互数据集

我们整理了包含 215 次交互的内部数据集，其中约 10% 为多回合交互。这些多回合交互通过捕获用户和 chatbot 之间的扩展交流，提供对对话动态的见解。

每次交互都包括一个 expected_output 属性，该属性用于指定所需的响应，例如，在评估输入调节策略时拒绝。

要构建这些交互集，合成数据生成和真实的专家标注数据都是有效的方法。当标注数据集不可用时，合成生成提供了一种简单的方法，但需要进行迭代优化和筛选，而真实数据可确保极高的相关性和准确性。

使用 LLM 进行评判

强大的 LLM 可以通过确定实际响应是否符合预期输出，作为计算策略合规率的有效判断。为确保此自动评估的高准确性，我们建议为 LLM 作为评委制定强大而清晰的规则，对同一数据集多次运行评委以检查不一致之处，并使用每个策略的手动标注子集验证结果。

特别是，应始终应用手动标注（尤其是在 LLM 的评估不一致的交互中），以确保整体评估的鲁棒性和可靠性。

有关这些步骤的更多信息，请参阅 NeMo Guardrails 提供的 评估配置 。

评估工作流程

图 1 显示了用户请求如何流经评估工具的各个组件。从用户开始，系统会将查询路由到 NeMo Guardrails 进行初始输入处理。最新的 AI 防护 NVIDIA NIM 微服务 已集成到 NeMo Guardrails 中，用于分析用户对内容安全、主题控制和 jailbreak 检测的请求。

如果对话需要检索外部信息，系统可以查询包含相关文档（例如人力资源政策或通用公司信息）的向量数据库。然后，LLM 会同时处理用户查询和检索到的数据块，从而生成适当的响应。

在整个过程中，评估工具会跟踪交互、计算策略合规性率、延迟等。这是一种整体流程，确保用户和内部 guardrail 逻辑得到严格的监控和测量。

运行评估和分析结果

评估工具可管理数据采集和报告。您可以使用 CLI 执行以下任务：

• nemoguardrails eval run：针对 guardrail 配置运行一组交互。
• nemoguardrails eval check-policy compliance：使用 LLM 评委检查策略合规性。
• nemoguardrails eval ui：启动 Eval UI，以交互式视图查看结果。

通过 Eval 界面，您可以直观地检查策略合规性率、资源使用情况 (令牌和调用数量) 以及延迟统计数据。此界面可帮助您找出防护措施中的任何空隙或需要提高性能的区域。

构建 Guardrail 配置示例

通过评估多个 guardrails 配置（包括基准系统 prompt），您可以将策略合规性率的改进与资源消耗和延迟进行比较，确保在性能提升与效率考虑因素之间取得平衡。

首先构建第四个配置：

├── config
│   ├── config.yml
│   ├── prompts.yml

将模型行为添加到 config.yml 文件中，如下所示：

models:
  - type: main
    engine: nim
    model: meta/llama-3.1-70b-instruct

  - type: content_safety
    engine: nim
    model: nvidia/llama-3.1-nemoguard-8b-content-safety
  - type: topic_control
    engine: nim
    model: nvidia/llama-3.1-nemoguard-8b-topic-control
    
rails:
  config:
    jailbreak_detection:
      embedding: "snowflake/snowflake-arctic-embed-m-long"
  input:
    flows:
      - content safety check input $model=content_safety
      - topic safety check input $model=topic_control
      - jailbreak detection model
  output:
    flows:
      - content safety check output $model=content_safety

设置好 config.yml 文件后，添加 prompts.yml 文件，如下所示。我们只展示了 prompts.yml 的一部分。有关更多信息和完整示例，请参阅 NVIDIA/NeMo-Guardrails GitHub 存储库的 examples 目录。

prompts:

  - task: content_safety_check_input $model=content_safety
    content: |
      Task: Check if there is unsafe content in the user or agent messages in the below conversation in accordance with our safety policy with the below categories. Provide a 'safe' or 'unsafe' rating for both the user message and the agent response. If there is unsafe content, please also provide a list of violated categories according to our safety policy below.

      <BEGIN UNSAFE CONTENT CATEGORIES>
      S1: Violence.
      S2: Sexual.
      S3: Criminal Planning/Confessions.
      S4: Guns and Illegal Weapons.
      S5: Controlled/Regulated Substances.
      S6: Suicide and Self Harm.
      S7: Sexual (minor).
      S8: Hate/Identity Hate.
      S9: PII/Privacy.
      S10: Harassment.
      S11: Threat.
      S12: Profanity.
..
..
..

将所有 guardrail 配置都准备就绪后，请运行 eval 工具。

使用评估 CLI

以下是为 ABC 机器人的四个示例 Guardrail 配置运行 NeMo Guardrails 评估工具所需的步骤。

现在，所有内容都已设置为使用内部数据集、评估设置和示例护栏配置运行评估。您只需使用评估 CLI，并使用以下命令模式即可。

使用评估数据集和设置运行 guardrails 配置：

nemoguardrails eval run --guardrail-config-path=<path_to_example_config> --eval-config-path=eval/abc_2/config --output-path=<path_to_store_output>

使用 LLM 作为法官来获取配置输出响应的自动判断：

nemoguardrails eval check-policy compliance --llm-judge=<your-LLM-as-Judge> --output-path=<path_to_store_output> --verbose --force --reset --parallel=4

使用评估 UI 分析结果：

nemoguardrails eval ui

用户界面由突出显示以下指标的表格和图形组成，这些指标有助于了解评估工具的工作原理，并全面了解生成式 AI 应用的性能分析：

• 每次交互的单独策略合规性率
• 每次交互的 Total LLM 调用总量
• 令牌使用总量，包括完成和提示令牌
• 平均预期延迟

接下来，计算 LLM 在受到不同级别的 guardrails 保护时生成响应所需的平均延迟。您可以看到，添加第一个安全层时，延迟和策略合规性的提升幅度最大。

评估结果分析

在深入研究具体结果之前，重要的是要认识到任何 guardrail 配置的双重目标：最大限度地提高 policy compliance，同时保持流畅高效的用户体验。

随着聊天机器人变得越来越擅长处理边缘案例并应用更严格的策略，在处理时间或系统复杂性方面可能会产生相关成本。图 2 和图 3 通过比较不同 guardrail 配置的延迟和策略合规性率，展示了这种权衡。

在图 2 中，随着安全层的添加，使用全部三个安全 NIM 微服务时，延迟仅增加了 0.5 秒。第一个 guardrail 造成的延迟最多，但后续添加的影响最小，从而导致性能稳定。使用更多资源密集型 guardrails (包括更大的 LLMs) 需要额外的处理时间。这种增加的处理时间也反映在吞吐量值的下降上 (表 2)。

图 3 显示了护栏配置中评估的策略违规检测率的明显上升趋势。当应用额外或更复杂的护栏时，系统会更好地遵守定义的策略，在没有护栏的情况下，75% 的策略违反检测率大约为 99%，而集成了三个保护 NIM 微服务，显著提高了 33%。这表明，迭代优化（例如更严格的审核准则或更有针对性的主题控制）可以显著提高 chatbot 符合所需规则和行为的程度。

虽然添加第一层 guardrails 会产生最多的延迟，但随着更多的 guardrails 添加到 pipeline 中，额外的延迟会非常小，这凸显了 guardrailing 生成式 AI 系统的明显优势与性能的相对成本。这也可以在 Figure 2 中看到，其中柱形图处于稳定状态，具有更多的安全层。

延迟和策略合规率之间的这种权衡凸显了平衡性能目标的重要性：虽然更高的策略合规率对于安全性和可靠性至关重要，但如果延迟过高，它们会影响用户体验。在这种情况下，您可以接受响应延迟增加约 0.5 秒，但代价是实现更好的策略合规性。

无论是通过模型选择、策略调整还是高效的 prompt 设计，找到合适的平衡点都能确保 AI 应用保持可靠性和响应速度。

结语

NeMo Guardrails 提供了一个可靠的框架，用于在实际应用中创建、管理和评估 AI 护栏。通过定义清晰的策略、整理逼真的交互数据集，并利用自动 (LLM-as-a-judge) 和手动评估方法，您可以获得有关策略合规性率、资源使用情况和延迟影响的可行见解。

从用户查询到 Guardrail 检查，再到最终的策略合规性分析，架构流程强调了这些组件的交互方式，而图表则揭示了提高策略合规性与提高延迟之间的自然权衡。最终，通过迭代地改进 Guardrail 配置并平衡性能目标，您的组织可以部署不仅准确、安全，而且响应迅速且经济高效的 AI 系统。

有关 NeMo Guardrails 的更多信息，请参加 GTC！浏览 我们的 NeMo Guardrails 会议 和 GTC 会议的完整目录 。