随着数字人、智能体、播客、图像和视频生成等新兴用例的出现， 生成式 AI 正在改变我们与 PC 的交互方式。这种范式转变要求我们以新的方式与生成式 AI 模型进行交互和编程。然而，对于 PC 开发者和 AI 爱好者而言，入门可能会非常困难。
今天，NVIDIA 在 NVIDIA RTX AI PC 上发布了一套 NVIDIA NIM 微服务 ，以在 PC 上快速启动 AI 开发和实验。NIM 微服务目前处于 beta 阶段，提供涵盖语言、语音、动画、内容生成和视觉功能的 AI 基础模型。
这些易于使用的行业标准 API 可帮助您在 NVIDIA RTX AI PC 上使用 NVIDIA NIM，开启从实验到构建的 AI 之旅。它们易于下载和运行，涵盖 PC 开发的主流模式，并与主流生态系统应用程序和工具兼容。
NVIDIA NIM 的工作原理
将 AI 引入 PC 会带来独特的挑战。AI 软件堆栈从库和框架快速发展为 SDK 和模型。此软件堆栈的组合数量庞大，任何与此堆栈单层的不兼容都会导致整个工作流程中断。在 PC 上实现 AI 性能的独特限制还需要复杂的资源管理、严格的延迟和吞吐量要求。
在 PC 上，开发者一直在整理模型，使用自定义数据使模型适应其应用程序需求，对模型进行量化以优化内存资源利用率，并连接到仅适用于 PC 的自定义推理后端。
NIM 有助于应对这些挑战。NIM 提供预封装的先进 AI 模型，这些模型针对跨 NVIDIA GPU 的部署进行了优化。NIM 微服务被打包成一个容器，用于自托管加速微服务，用于预训练和自定义 AI 模型。它基于 NVIDIA GPU (包括 NVIDIA TensorRT 和 TensorRT-LLM ) 预先优化的推理引擎而构建。
借助 NIM，您可以获得标准 API 以及跨 NVIDIA 平台 (从云和数据中心到 NVIDIA RTX AI PC 和工作站) 的统一开发和部署体验。
GeForce RTX 50 系列 GPU 支持 FP4 计算，并配备高达 32 GB 的 VRAM，有助于将 AI 推理性能提升高达 2 倍，并在本地设备上运行更大的生成式 AI 模型。
NIM 微服务还针对基于 NVIDIA Blackwell 架构的全新 NVIDIA GeForce RTX 50 系列 GPU 进行了优化。
在 NVIDIA RTX AI PC 上 ，NIM 微服务通过 WSL2 运行。NVIDIA 和 Microsoft 合作将 CUDA 加速引入 WSL2，使您能够使用 Podman 容器工具包和 WSL2 上的运行时运行 NIM 微服务。借助此功能，您可以随时随地构建、运行、共享和验证 AI 工作负载。
在 NVIDIA RTX AI PC 上开始使用 NIM 微服务
适用于 NVIDIA RTX AI PC 的全新 NIM 微服务套件涵盖 LLM、VLM、图像生成、语音、用于 RAG 的嵌入模型、PDF 提取和计算机视觉等用例。
- 语言和推理：
- Deepseek-R1-distill-llama-8B
- Mistral-nemo-12B-instruct
- Llama3.1-8B-instruct
- 图像生成： Flux.dev
- 音频： Riva Parakeet-ctc-0.6B-asr Maxine Studio Voice
- RAG：Llama-3.2-NV-EmbedQA-1B-v2
- 计算机视觉和理解： NV-CLIP 、 PaddleOCR 、 Yolo-X-v1
目前，您可以通过以下几种方式在 PC 上开始使用 NIM 微服务：
- 从 NVIDIA API Catalog 下载
- 与其他框架集成
- 使用 NVIDIA RTX AI PC 接口
NVIDIA API Catalog
下载、安装和运行 NIM 微服务 。
选择您的微服务，然后选择“Deploy”。对于目标环境，选择 RTX AI PC 上的 Windows（Beta）。
与其他框架
集成应用开发工具和框架，包括低代码和无代码工具，如
借助这些原生集成，您可以通过行业标准端点将基于这些框架构建的工作流连接到 NIM 中运行的 AI 模型，使您能够通过跨云、数据中心、工作站和 PC 的统一接口使用最新技术。
例如，如何在 Flowise 上访问 NIM 微服务：
- 在 Flowise 中，选择 Chat Models， 然后将 Chat NVIDIA NIM 节点拖动到主板上。
- 选择“Set up NIM Locally” ，然后下载 NIM 安装程序。
- 完成后，选择要下载的模型，然后选择“Next”。
- 模型下载完成后， 根据需要配置内存限制 ，并将主机端口设置为任何未主动使用的端口，以运行微服务。
- 启动容器，保存 chatflow，然后在聊天窗口中开始提示。
使用 NVIDIA RTX AI PC 接口
通过用户友好界面在 NVIDIA RTX AI PC 上体验 NIM：
例如，如何将 NIM 与 AnythingLLM 结合使用：
- 在 AnythingLLM 中， 选择“Config” > “AI Providers” > LLM 。
- 在 Provider 下，选择 NVIDIA NIM，然后选择 Run NVIDIA NIM Installer。
- NVIDIA 安装程序完成后，选择 Swap to Managed Mode。
- 选择“Import NIMs from NVIDIA”，选择要下载的模型，然后接受使用条款。
- 将所需的 NIM 模型设置为“active” (活动) ，然后选择 启动 NIM 然后导航回工作空间。
- 打开新聊天并开始提示。
视频 1. 在 RTX 上运行先进的 LLM | NVIDIA NIM x AnythingLLM
以下示例展示了如何将 NIM 与 适用于 VS Code 的 Microsoft AI Toolkit 结合使用：
- 使用 NVIDIA NIM Installer 为 NIM 微服务设置环境。
- 在 AI 工具包 在 Visual Studio Code 中选择“Extension” (扩展程序) 选项卡 模型目录 。
- 如要查看可用模型，请选择“ Hosted by ” > NVIDIA NIM。
- 要下载模型，请选择“Add”。完成后，选择“ Playground ” > “ Model selection ”，然后在本地启动 NIM。加载模型后，AI Toolkit 上的微服务即可开始运行。
查看用户指南，其中重点介绍了在 ChatRTX 中使用 NIM 微服务的分步说明。查看用户指南，其中重点介绍了在 ChatRTX 中使用 NIM 微服务的分步说明。
通过 AI Blueprint 体验 NIM 的强大功能
NVIDIA RTX AI PCs 即将推出 NVIDIA AI Blueprints，让您能够在使用 NIM 微服务构建生成式 AI 工作流方面抢占先机。这些 AI 蓝图可作为参考示例，提供构建本地运行的高级 AI 工作流所需的一切内容 (包括 NIM 微服务、示例代码、文档) 。此外，这些蓝图是模块化的，可以针对任何用例快速进行完全定制。
蓝图示例包括：
- PDF 转播客：将文档转换为音频内容，以便您随时随地学习。它会从 PDF 中提取文本、图像和表格。然后，它可以根据 AI 生成的脚本，使用可用的语音生成完整的播客。借助检索增强生成 (RAG) 技术，用户可以与播客主持人进行实时对话，详细了解特定主题。
- 3D Guided Generative AI：让您完全控制图像生成。借助 Flux 图像模型和类似于 Blender 的 3D 渲染应用，您可以定义场景元素、调整摄像头角度，并使用 AI 将构图和结构增强为高质量的视觉效果。此工作流与 Flux NIM 微服务、Flux.dev 模型和 ComfyUI 集成，可通过一键式安装程序轻松访问。
总结
对于构建和实验，请在 NVIDIA RTX AI PC 上开始使用 NVIDIA NIM。
加入 NVIDIA 开发者 Discord 社区，与我们保持联系并了解最新信息。 如需技术支持，请访问 NVIDIA 开发者论坛，获取问题的答案。
