医疗设备创新不断加速，每年获得 FDA 批准的数量都创下新高。向临床医生和患者介绍这些全新或更新的设备时，他们需要接受培训，以正确、安全地使用这些设备。
使用后，临床医生或患者可能需要获得排查问题的帮助。医疗设备通常附有冗长且技术复杂的 Instructions for Use (IFU) 手册，这些手册描述了设备的正确用法。快速找到正确的信息可能很困难，在新设备上训练是一项耗时的任务。医疗设备代表通常会提供支持培训，但可能无法实时回答所有问题。这些问题可能会延迟医疗设备的使用和较新技术的采用，在某些情况下，还会导致错误使用。
使用生成式 AI 对医疗设备进行故障排除
检索增强型生成 (RAG) 使用深度学习模型 (包括大语言模型 (LLMs))，使用自然语言高效搜索和检索信息。借助 RAG，用户可以接收大型文本语料库 (例如 IFU) 中特定问题的易于理解的说明。语音 AI 模型，如自动语音识别 (ASR) 和文本转语音 (TTS) 模型，使用户能够使用语音与这些先进的生成式 AI 工作流进行通信，这在手术室等无菌环境中至关重要。
NVIDIA NIM 推理微服务是为这些模型优化的 GPU 高性能容器，可为最新模型提供最低的总体拥有成本和最佳的推理优化。通过将 RAG 和语音 AI 与部署 NIM 微服务的效率和简便性相集成，开发先进医疗设备的公司可以实时为临床医生提供准确、免持的答案。
图 1、医疗设备训练助手的聊天机器人用户界面
使用 NIM 微服务构建的医疗设备训练助手
在本教程中，我们构建了具有可选语音功能的 RAG 工作流，以回答有关使用其 IFU 的医疗设备的问题。所使用的代码可在 GitHub 上获取。
我们在 RAG 管道中使用以下 NIM 微服务。您可以灵活地将管道中的组件更改为适用于不同模型的其他 NIM 微服务：
- Llama3 70B Instruct (meta/llama3-70b-instruct)：一种大语言模型，可根据检索到的文本生成用户问题的答案。
- NV-EmbedQA-e5-v5 (nvidia/nv-embedqa-e5-v5)：嵌入来自 IFU 的文本块和用户查询的嵌入模型。
- NV-RerankQA-Mistral-4b-v3 (nvidia/nv-rerankqa/mistral-4b-v3)：一种重新排序模型，用于对检索到的文本块进行重新排序，以便由 LLM 执行文本生成步骤。
- RIVA ASR：自动语音识别模型 ，可将用户的语音查询转录为模型的文本。
- RIVA TTS：输出 LLM 响应音频的文本转语音模型。
RAG 有两个步骤：文档摄取，然后检索和生成答案。可以在图 2 的参考架构图中找到这些步骤和相关的 NIM 微服务。
使用 NVIDIA NIM
您可以访问 NVIDIA 的 API Catalog（ build.nvidia.com ），注册免费的 API 积分，或在自己的计算基础设施上部署，以访问 NIM 微服务。
在本教程中，我们使用 API Catalog 端点。有关使用 NIM 微服务、查找 API 密钥以及其他预备知识的更多信息，请访问 GitHub 。
按照以下步骤构建具有可选语音的 RAG 工作流，以便使用其 IFU 回答医疗设备问题。
- 构建和启动容器 查看我们为使用 NIM 微服务和向量数据库启动容器而创建的 Docker Compose 文件。您可以在 GitHub 上获取 详细说明 和代码。
- 提取设备手册 导航浏览器，在“Knowledge Base”（知识库）选项卡中上传您的 IFU，如图 3 所示。
- 检索并生成答案导航 至“Converse”选项卡，开始与 IFU 对话（图 1）。请务必单击“Use Knowledge Base”，将 IFU 用作知识资源。要使用语音进行交谈，请单击文本输入区域旁边的麦克风，RIVA ASR 模型将转录您的问 题。要接收语音输出，请单击“Enable TTS output”。更多信息关于使用和故障排除的 UI 是在 Github 文档。
- 在自定义数据集上进行评估使用自定义问题数据集和自动化 RAGAS 指标评估 RAG 工作流的性能。RAGAS 指标评估检索器和生成器的性能，是以自动化方式评估 RAG 工作流的常用方法。有关如何使用评估脚本的说明，请参阅 GitHub 。
开始使用
要开始使用此工作流，请访问 GenerativeAIExamples GitHub 资源库 ，其中包含本教程中使用的所有代码以及大量文档。
有关 NIM 微服务的更多信息，您可以参阅官方 NIM 文档 了解详情，并在我们的 NVIDIA Developer NIM 论坛 上提出问题。
