在全球范围内，企业正在意识到 生成式 AI 模型。他们竞相在聊天机器人、虚拟助理、编码副驾驶等各种应用中采用这些模型。
虽然通用模型适用于简单任务，但在满足各行各业的独特需求方面表现不佳。自定义生成式 AI 模型通过整合特定领域的知识、了解当地文化的细微差别以及与品牌声音和价值观保持一致，优于普通模型并满足企业需求。
NVIDIA NeMo 团队宣布推出 抢先体验计划，该计划适用于 NVIDIA NeMo Curator、NVIDIA NeMo Customizer 和 NVIDIA NeMo Evaluator 微服务。这些微服务涵盖了从数据管理与定制到评估的整个开发阶段，能够简化用户构建自定义生成式 AI 模型的流程。
NVIDIA NeMo 是一个端到端平台，用于在任何地方开发自定义生成式 AI。它包括用于 训练、微调、检索增强生成、护栏设置、数据管护 和预训练模型的工具。NeMo 在整个技术堆栈中提供了从框架到高级 API 端点的产品（见图 1）。
NVIDIA CUDA-X 的一部分微服务以及 NeMo API 端点是基于 NVIDIA 库构建的，这为企业提供了开始构建自定义生成式 AI 的简单路径。
适用于自定义生成式 AI 的开发微服务
在 抢先体验计划 中，开发者可以申请访问 NeMo Curator、NeMo Customizer 和 NeMo Evaluator 微服务。这些微服务协同工作，帮助企业构建企业级自定义生成式 AI，并加速解决方案的上市时间。
NeMo Curator 微服务帮助开发者整理数据以进行预训练和微调 LLM，而 NeMo Customizer 支持微调和对齐。最后，借助 NeMo Evaluator，开发者可以根据学术或自定义基准评估这些模型，并确定需要改进的领域。
以下内容详细介绍了这些微服务。
NeMo Curator
NeMo Curator 是一种可扩展的 GPU 加速数据整理微服务，可为生成式 AI 模型的预训练和自定义准备高质量的数据集。Curator 简化了数据整理任务，例如数据下载、文本提取、清理、质量过滤、精确/模糊重复数据消除和多语种下游任务消除。
Curator 支持以下内容：
- 微调技术，例如监督式微调 (SFT)、P-tuning 和低阶自适应 (LoRA)。
- 更快的数据标注流程，支持不同类型的元数据分类器，包括：
- 适用于医疗健康、法律等各个领域的领域分类器。开发者可以使用最相关的数据进行特定领域的自定义，以进行模型开发、数据混合和丰富原始数据
- 个人识别信息 (PII) 检测，用于从训练数据中大规模编辑或删除 PII 信息，并遵守数据隐私。
- Toxicity Filter，用于使用定义的自定义过滤器和类别识别和删除无关的和有毒的数据
NeMo Customizer
NeMo Customizer 是一个高性能、可扩展的微服务，它简化了针对特定领域用例的 LLM 微调和对齐。该微服务最初支持两种流行的参数高效微调 (PEFT) 技术：LoRA 和 p-tuning.
此外，NeMo Customizer 微服务将在未来添加对完全对齐技术的支持。
- Supervised Fine-Tuning (SFT)
- 基于人类反馈的强化学习(RLHF)
- 直接偏好优化 (DPO)
- NVIDIA NeMo SteerLM
NeMo Customizer 微服务支持 Kubernetes 访问类似 NFS 的文件系统和火山调度程序以进行部署。这可实现批量调度功能，而这通常是高性能多节点微调 LLM 所必需的。
NeMo Evaluator
针对特定任务定制 LLM 可能会导致灾难性的遗忘，即模型忘记先前学习的任务。使用 LLM 的企业必须评估原始任务和新任务的性能，不断优化模型以改善体验。NeMo Evaluator 可在任何云或数据中心的不同学术和自定义基准测试中自动评估自定义生成式 AI 模型。
它通过精选的学术基准集合支持自动评估，包括超越模拟游戏基准 (BIG-Bench)、多语种 BigCode 评估线束和 Toxicity。
NeMo Evaluator 支持对自定义数据集进行评估，可提供准确度、面向召回的 gisting 评估不足 (ROUGE)、F1 和精确匹配等指标。
它还支持使用 LLM 作为判断来全面评估模型响应。它可以利用 NVIDIA NIM 支持的 LLM，以及 NVIDIA API 目录 来评估 MT-Bench 数据集上的模型响应。
轻松构建自定义生成式 AI
NeMo 微服务可提供 NeMo 平台的全部优势，例如加速性能和可扩展性。开发者可以利用并行技术并在需要时扩展到多 GPU 和多节点，从而获得更快的训练性能。
微服务还为企业带来诸多好处，例如能够在其首选基础架构 (从本地到云端) 上运行，从而控制数据安全性、避免供应商锁定并降低成本。
无论开发堆栈中的特定选项如何，微服务都能提供适应性和兼容性。它们可以轻松地作为 API 纳入当前的工作流程，而无需担心所使用的特定技术。
注册以抢先体验
注册 NeMo 微服务抢先体验。申请将逐案审查，并提供给已批准参与者访问微服务容器的链接。
