AI 正迅速超越集中式云和数据中心，成为可直接部署在专业工作站上的强大工具。借助先进的硬件和优化的软件，您可以在桌面上或随时随地构建、运行和试验复杂的 AI 模型 。欢迎来到本地 AI 开发的世界！
在工作站上本地运行和开发 AI 为开发者和组织带来了显著优势：增强了数据隐私和安全性，敏感数据保留在内部，与持续云使用相比节省了成本，为应用程序提供了离线操作功能，以及无与伦比的动手开发和迭代环境。 NVIDIA RTX PRO Blackwell 系列 等高性能硬件和为利用其功能而构建的优化软件生态系统推动了向强大、可访问的本地 AI 的转变。
本博文将使用专为专业工作流设计的 NVIDIA 生态系统，指导您选择可管理的首个本地 AI 项目。
了解您的 NVIDIA RTX PRO Workstation
专业 AI 加速的核心是 NVIDIA RTX 专业 GPU ，每个 GPU 具有高达 96 GB VRAM、企业级驱动、ISV 认证和增强的 NVIDIA Tensor Core 性能，可为 AI 提供高达每秒 4,000 万亿次运算。
因此，它们非常适合处理更大的数据集、训练更复杂的模型和运行复杂的 AI 推理任务。支持广泛的高级数据格式（从低精度类型的 FP4 和 INT8 到更高精度的 FP16 和 FP32），使 AI 模型能够高效运行，这对于快速迭代开发周期至关重要。
定义您的项目
对于 RTX PRO 工作站，下一步是选择合适的第一个项目。请考虑以下因素：
- 重点领域：专注于掌握单一核心 AI 功能，例如高级文本分析、高分辨率图像处理或特定类型的数据生成。
- 与您的目标保持一致：选择与您的兴趣、工作或行业相关的领域，例如 automating 数据分析、改进 visual 工作流程或生成专业内容。
- 资源评估：确保您的项目目标与特定工作站的功能 (尤其是 GPU VRAM 、CPU 功耗和存储) 以及当前的 AI 技能水平保持一致。从您可以完成和学习的项目开始。
以下是一些开始使用 NVIDIA RTX PRO 工作站的项目想法。
项目 1：AI 赋能的聊天机器人
为本地 AI 聊天机器人项目选择合适的起点是关键。 检索增强生成 (Retrieval-Augmented Generation, RAG) 是使这些聊天机器人能够处理您的特定数据的核心技术。借助 RAG，聊天机器人的底层大语言模型 (Large Language Model, LLM) 能够在生成答案之前访问和引用您的特定文档或知识库，确保回复准确、相关并基于您的上下文，而不是 LLM 的常规训练数据。
从 NVIDIA ChatRTX 开始 ，创建无代码 RAG 聊天机器人。只需下载应用程序，将其指向您的本地文件夹 (如项目文档或笔记) ，从菜单中选择兼容的模型，然后开始提问即可。ChatRTX 负责 RAG 流程，即检索相关片段并自动将其输入到 LLM。
当您准备好使用特定逻辑或集成不同的数据源来编写代码和构建更定制的 RAG 聊天机器人时，AI Workbench 可以帮助您设置开发环境。
下载适用于 Windows 或 Linux 系统的 AI Workbench 安装程序。它可以管理必要的依赖项 (例如 Git) 、容器软件 (例如 Docker 或 Podman) ，甚至是 Linux 操作系统上的 GPU 驱动程序。Windows 用户必须从 NVIDIA 驱动程序 页面手动安装驱动程序。
为加速开发，请使用预构建示例，例如 多模态虚拟助手项目 。通过在 AI Workbench 中克隆此项目，您可以通过 RAG 管道抢占先机，您可以在其中开始集成您的特定文档、图像或视频，定义自定义数据检索方法，管理不同的 LLM，并迭代设计，以获得真正定制的对话式 AI 体验。
本地运行的 AI 聊天机器人的特定应用正在各行各业涌现。在 Architecture, Engineering, and Construction (AEC) 领域，公司正在试验基于历史 Requests for Proposals (RFP) 和项目文档训练的自定义聊天机器人，以帮助总结新的 RFP 或在过去的回复中快速找到答案，从而简化提案流程。在 Financial Services 领域，合规团队可以利用在工作站中安全存储的大量 regulatory archives 和内部 policy documents 上训练的本地聊天机器人，快速查询和验证需求，或在敏感数据不离开本地环境的情况下寻找先例。
项目 2：将 PDF 转换为播客
将您的 PDF 文档 (如研究论文或手册) 转换为引人入胜的音频内容。这种 PDF-to-podcast 转换功能在工作站上本地运行，并在各个领域提供优势。例如，法律专业人士可以将冗长、机密的案例文件或发现文档转换为音频以供审查，确保敏感的客户数据在本地机器上保持安全。
工程或制药领域的研发团队可以将密集的技术规格、研究论文或内部手册转换为音频格式，以便专家在多任务处理或远离屏幕的同时吸收复杂信息，同时保护专有知识产权。
首先， 从 AI Workbench 界面中的 GitHub 资源库克隆此项目 ，通过处理容器化环境配置和自动配置 GPU 访问来简化设置。
默认实现使用基于云的 NVIDIA NIM 端点。但是，AI Workbench 可让您直接在本地 RTX PRO 工作站上灵活地运行关键组件（包括 NIM 微服务）。此方法可确保您的专有 PDF 数据保持安全和隐私，因为所有处理均可保留在本地机器上，而无需发送到云端
此蓝图灵活且可定制，因此您可以添加品牌、分析、实时翻译或数字人机界面等其他功能，以深化参与度。您可以直接在功能强大的硬件上测试、原型设计和自定义 PDF-to-podcast 流水线。
项目 3：视频搜索和总结智能体
自动搜索和总结视频内容的能力非常有价值。解锁先前隐藏在庞大录音库 (如体育亮点和广播、安全录像、会议档案或教育讲座) 中的见解，可以节省大量的人工审查时间。
您可以使用 NVIDIA AI Blueprint 在 RTX PRO 工作站上本地构建自己的视频搜索和摘要 (VSS) 智能体。此蓝图提供了一个全面的参考架构，将 NIM 微服务用于视频提取、视觉语言理解、LLM 推理和 RAG 等关键功能，在本地部署。
该蓝图的默认配置使用 meta/llama-3.1-70b-instruct LLM 。在本地运行此 70 B 参数模型需要 140 GB 或更多 VRAM，这可能超出 RTX PRO 工作站的容量。如需在 RTX PRO GPU 上进行实际本地部署，请修改蓝图配置，将 70B 模型替换为较小的 meta/llama-3.1-8b-instruct 版本，该版本显存需求显著降低，非常适合直接在工作站上运行推理。
开始您的 AI 项目
要开始您的第一个 AI 项目，请选择符合您专业需求的项目，从可管理的步骤开始，并利用 NVIDIA 的开发者计划 等资源。
对于寻求利用尖端技术的开发者而言，开启您的第一个本地 AI 项目是一个战略性步骤。使用 NVIDIA PRO RTX 工作站作为计算主干，使用 NVIDIA AI Workbench 进行简化开发，并使用 NVIDIA AI Enterprise 软件提供生产级工具和支持，您将获得全面装备。
