使用 NVIDIA AI 基础模型构建自定义企业级生成式 AI

在构建企业级 生成式 AI 和 大型语言模型 (LLM) 时，需要收集高质量数据、搭建加速基础架构以及拥有优化模型的专业知识。

开发者可以从预训练模型开始，并根据其用例对其进行微调，从而节省时间，并使其解决方案更快地投入市场。开发者需要一种简单的方法来尝试模型，并通过 API 集成模型来评估其功能。这有助于他们确定最适合其应用的模型。

NVIDIA AI 基础模型

NVIDIA AI 基础模型 是一组经过精心策划的社区模型和 NVIDIA 构建的模型，它们针对峰值性能进行了优化。开发者可以直接通过 API 或 * 图形用户界面从浏览器中快速使用这些模型，无需任何设置。模型 * 通过 NVIDIA TensorRT-LLM 和激活感知型权重量化 (AWQ) 进行配置，以实现最高吞吐量和最低延迟，并在 NVIDIA 加速计算堆栈上大规模运行。

隆重推出 NVIDIA Nemotron-3 8B 系列 LLM

我们的 NVIDIA Nemotron-3 8B 系列模型 为希望构建生产就绪型生成式 AI 应用的客户提供了基础。这些模型基于负责任的数据集构建，运行性能优于更大的模型，是企业部署的理想选择。

NVIDIA Nemotron-3 8B 系列模型的主要区别在于其多语种功能，这使其成为全球企业的理想选择。这些模型开箱即用，精通 53 种语言，包括英语、德语、俄语、西班牙语、法语、日语、中文、意大利语和荷兰语。

该系列模型还采用了一系列比对技术，包括监督式微调（SFT）、基于人类反馈的强化学习（RLHF），以及 NVIDIA 新推出的 SteerLM，这是一种在推理时调整模型以实现定制的技术。无论是从头开始自定义还是运行现有模型，这些技术都可以为不同用例提供多样化的起点。

Nemotron-3 8B 系列型号包括：

• Nemotron-3-8B-Chat-SteerLM 是一种基于 NV-Nemotron-3-8B 基础模型的生成语言模型，用户可以在使用 SteerLM 技术进行推理时控制模型的输出。
• 基于 NV-Nemotron-3-8B 基础模型的 Nemotron-3-8B-QA 是一种生成语言模型，可用于进一步微调以处理问答任务。

NVIDIA 优化的社区模型

此外， NVIDIA 还提供先进的社区模型，这些模型*已使用 NVIDIA TensorRT-LLM 进行优化，可为企业组织提供可针对其企业应用程序自定义的最高性价比。这些模型包括：

• 美洲豹 2 (Lama 2) 是目前最受欢迎的大型语言模型 (LLM) 之一，它能够根据给定的提示生成文本。
• 稳定扩散 XL 是一种流行的生成式 AI 模型，能够根据文本提示创建富有表现力的图像。
• Code Lama 是 Lama 2 模型的微调版本，能够生成 Java、C++、Python 等几种热门编程语言的代码。
• Mistral 7B LLM 能够根据指令完成任务，并生成创意文本。
• 对比语言图像预训练 (CLIP) 是一种流行的开源模型，它能够理解图像和文本，实现图像分类、物体检测等多种任务。

当开发者确定了正确的基础模型后，他们可以通过简单的方法在自己或 NVIDIA 维护的基础设施上微调和部署这些模型，例如 NVIDIA DGX 云。

我们来逐步了解体验、自定义和部署经过微调的 Llama 2 模型的步骤。

体验 Lama 2

NVIDIA 提供了一个易于使用的界面，可直接从浏览器中与 美洲豹 2 (Lama 2) 模型进行交互。只需在提示字段中输入文本，然后单击 “generate”（生成），模型便会立即开始生成信息丰富的响应。

在图 1 中，一位用户要求模型执行 SQL 查询，以检索 2021 年第一季度支出至少 50000 美元的客户列表。该模型正确解释了用户的查询，并提供了详细解释的答案。

开发者通常对代码更感兴趣。 NVIDIA 还直接在浏览器中提供 API 小组件，以便通过 API 无缝体验模型。

要试用浏览器内 API，请单击 API 模式，然后从下拉列表中选择您喜欢的语言。图 2 显示了通过 cURL 调用 API 的 API 说明。

自定义模型

通常情况下，这些模型无法按原样满足开发者的#需求，因此必须使用专有数据进行微调。 NVIDIA 提供了多种自定义可用模型的途径。

NVIDIA NeMo 是一个端到端的企业级云原生框架，它使开发者能够构建、自定义和部署具有数十亿参数的生成式 AI 模型。NeMo 还提供了 API，用于微调 LLM（例如 Llama 2）。

为了快速入门，我们将提供 NVIDIA LaunchPad 实验室，这是一个通用的试验场，可对最新的 NVIDIA 企业硬件和软件进行全面测试。

LaunchPad 实验体验中的以下示例使用自定义数据集微调了 Lama 2 7B 文本转文本模型，以更好地执行问答任务。

1. 要开始使用，请点击 Lama 2 微调实验室 并请求访问。在 Launchpad 上运行时，Lama 2 模型文件以 .nemo 检查点的形式预先下载，以实现与 NVIDIA NeMo 框架的兼容性微调。
2. 模型准备就绪后，我们将加载Dolly 数据集，通过 Hugging Face 进行处理，并对其进行预处理。预处理步骤包括删除不必要的字段、重命名某些字段以更好地适应 p-tuning 任务，以及将数据集分割为训练集和测试集。

dataset = load_dataset("aisquared/databricks-dolly-15k")

其中显示了数据样本。可以交换数据集以适应特定用例。

{
"question": "When did Virgin Australia start operating?", 
"context": "Virgin Australia, the trading name of Virgin Australia Airlines Pty Ltd, is an Australian-based airline. It is the largest airline by fleet size to use the Virgin brand. It commenced services on 31 August 2000 as Virgin Blue, with two aircraft on a single route.[3] It suddenly found itself as a major airline in Australia's domestic market after the collapse of Ansett Australia in September 2001. The airline has since grown to directly serve 32 cities in Australia, from hubs in Brisbane, Melbourne and Sydney.[4]", 
"answer": "Virgin Australia commenced services on 31 August 2000 as Virgin Blue, with two aircraft on a single route.", 
"taskname": "genqa"
}

3. 然后，通过更新默认 NeMo 配置文件的某些字段来配置微调作业，以适应手头的训练任务。然后，使用 NeMo 训练脚本启动该作业，该脚本在此过程中运行微调并生成模型检查点。
4. 完成微调任务后，我们将能够在 Notebook 中运行推理，以生成一些示例输出，并评估经过微调的模型的性能。
5. 我们来看一个此类输出示例。我们提供了对两种产品(一台割草机和一个厨房机器人)的描述，并询问模型割草机是否采用太阳能供电。

模型准确地掌握了上下文，并以“是”回答。通过对模型进行微调，它能够根据所提供的上下文准确回答我们的问题。

{
"input": "Context: The Auto Chef Master is a personal kitchen robot that effortlessly turns raw ingredients into gourmet meals with the precision of a Michelin-star chef. The Eco Lawn Mower is a solar powered high-tech lawn mower that provides an eco-friendly and efficient way to maintain your lawn. Question: Is the lawn mower product solar powered? 
Answer:", 
"pred": "Yes", 
"label": "Yes, the Eco Lawn Mower is solar powered.", 
"taskname": "genqa"
}

部署模型

NVIDIA AI Foundation Endpoints 提供完全无服务器且可扩展的 API，可部署在您自己的云或 NVIDIA DGX 云上。请填写此表单，开始使用 AI 基础端点。

您还可以在自己的云端或数据中心基础架构上进行部署，NVIDIA AI Enterprise 这个端到端的云原生软件平台可加速生产级生成式 AI 的开发和部署，具有企业级安全性、稳定性、可管理性和支持。当您准备好从实验室环境转向生产环境时，可以利用 NVIDIA AI Enterprise 的企业级运行时环境来微调和部署这些模型。

了解详情

在本文中，我们了解了 NVIDIA AI Foundation 模型 如何通过提供易于使用的界面来体验模型以及微调和部署模型的简化路径，帮助企业开发者找到适合各种用例的模型。
探索不同的 AI 基础模型找到适合您的型号。

在构建企业级 生成式 AI 和 大型语言模型 (LLM) 时，需要收集高质量数据、搭建加速基础架构以及拥有优化模型的专业知识。

开发者可以从预训练模型开始，并根据其用例对其进行微调，从而节省时间，并使其解决方案更快地投入市场。开发者需要一种简单的方法来尝试模型，并通过 API 集成模型来评估其功能。这有助于他们确定最适合其应用的模型。

NVIDIA AI 基础模型

NVIDIA AI 基础模型 是一组精心策划的社区模型和 NVIDIA 构建的模型，针对峰值性能进行了优化。开发者可以直接通过 API 或图形用户界面从浏览器中快速使用这些模型，无需任何设置。模型通过NVIDIA TensorRT-LLM 和激活感知型权重量化 (AWQ) 进行了优化。