NVIDIA 的首个版本 NIM 运算符 简化了推理工作流的部署和生命周期管理 NVIDIA NIM 微服务，减少 MLOps、LLMOps 工程师和 Kubernetes 管理员的工作负载。它支持在 Kubernetes 集群上轻松快速地部署、自动扩展和升级 NIM。 详细了解首个版本 。
我们的客户和合作伙伴一直在使用 NIM Operator 来高效管理其应用的推理流程，例如聊天机器人、代理式 RAG 和虚拟药物研发。我们 Cisco Compute Solutions 团队的合作伙伴正在使用 NIM Operator 部署适用于 RAG 的 NVIDIA AI Blueprint ，作为 Cisco Validated Design 的一部分。
“ 我们战略性地将 NVIDIA NIM Operator 与 思科验证设计 (CVD) 集成到我们的 AI 就绪型基础架构中，增强企业级检索增强型生成管线。NIM Operator 显著简化了 NVIDIA NIM 的部署、自动扩展和部署流程。NIM Operator 的高效模型缓存可显著提高 AI 应用的性能，而 NIMPipeline 自定义资源通过单个声明性配置文件统一管理多个 NIM 服务。在思科基础设施上部署和管理 NIM 时，精简的操作和高效的资源管理相结合，显著提高了整体运营效率。”– Paniraja Koppa，Cisco Systems 技术营销工程负责人。
随着 NVIDIA NIM Operator 2.0 的发布 ，我们增加了部署和管理 NVIDIA NeMo 微服务 生命周期的功能。NVIDIA NeMo 微服务是一系列工具，用于在 Kubernetes 集群 (无论是本地还是云端) 上构建 AI 工作流，例如 AI 数据飞轮 。
NVIDIA 将推出新的 Kubernetes 自定义资源定义 (CRDs) ，以部署三种核心 NeMo 微服务：
- NeMo Customizer：使用监督式和参数高效型微调技术，促进大语言模型 (LLMs) 的微调。
- NeMo Evaluator ：为 LLM 提供全面的评估功能，支持学术基准测试、自定义自动评估和 LLM-as-a-Judge 方法。
- NeMo Guardrails：为 LLM 端点添加安全检查和内容审核，防止幻觉、有害内容和安全漏洞。
核心功能和优势
此版本包含多项新功能和更新功能，包括以下内容。
轻松快速的部署
NIM Operator 只需几个步骤即可简化 AI 工作流的 NIM 和 NeMo 微服务部署，并支持两种类型的部署：
- 自定义配置 ，支持自定义 NeMo 微服务 CRDs 以使用您的生产级依赖项，并选择要部署的微服务。 开始使用我们的文档 。
简化第 2 天操作
借助 NIM Operator，您可以轻松管理第二天的操作。它支持配置滚动升级、Ingress 和 autoscaling。其中包括：
- 简化升级 ：支持使用可定制的滚动策略对 NeMo 微服务进行滚动升级 。更改 NeMo 微服务 CRDs 的版本号，NIM Operator 会更新集群中的部署，管理任何数据库模式更改。
- 可配置的 Ingress 规则 ：适用于 NeMo 微服务的 Kubernetes 入口规则，支持对 API 的自定义主机/路径访问。
- 自动扩展 ：支持使用 Kubernetes Horizontal Pod Autoscaler (HPA) 自动扩展 NeMo 微服务部署 及其 ReplicaSet。NemoCustomizer、NemoEvaluator 和 NemoGuardrails CRD 可处理所有常见的 HPA 指标和扩展行为。
- 简化 AI 工作流 ：NIM Operator 可以简化AI 工作流的部署。例如，要部署可信赖的 LLM 聊天机器人，用户可以管理单个 Guardrails NIM 流程 ，该流程可部署所有必要组件：LLM NIM 和 NeMo Guardrails NIM，用于内容安全、越狱和主题控制。
- 扩展支持矩阵 ：跨多个领域 (例如推理、检索、语音和生物学) 的 NVIDIA NIM 微服务。我们测试了各种 Kubernetes 平台，并添加了许多特定于平台的安全设置或记录的资源限制。
我们正在不断扩大受支持的 NVIDIA NIM 和 NVIDIA NeMo 微服务列表。如需详细了解受支持的 NIM 和 NeMo 微服务的完整列表，请参阅平台支持。
开始使用
通过自动执行 NVIDIA NIM 和 NVIDIA NeMo 微服务的部署、扩展和生命周期管理，NIM Operator 使企业团队能够更轻松地采用 AI 工作流。这项工作符合我们的承诺，即借助 NVIDIA AI Blueprints 轻松部署 AI 工作流并快速将其投入生产。NIM Operator 是 NVIDIA AI Enterprise 的一部分，可提供企业级支持、API 稳定性和主动安全补丁。
通过 NGC 或 GitHub repo 开始使用。 有关安装、使用或问题的技术问题，请在 GitHub repo 中提交问题 。
