得益于能够理解上下文和原因以生成高质量内容和高精度答案的突破性基础模型的不断涌现,生成式 AI 正在彻底改变各行各业的几乎每个用例。
NVIDIA 不断优化和发布社区、合作伙伴和 NVIDIA 构建的模型。本周发布的版本包含两个系列,即 Phi-3 和 Granite Code,这两个系列都是 NVIDIA AI 基础模型 的一部分。
Phi-3 语言模型
Microsoft 的 Phi-3 系列包含专为在不影响计算效率的情况下实现最佳性能而设计的小型语言模型 (SLM).其强大的推理和逻辑能力使其成为内容生成、总结、问答和情感分析任务的理想选择。
Phi-3 语言系列在 NVIDIA API 目录 中包括以下内容:
- 请查看 Phi-3-medium 示例。
- Phi-3 – 小(具有 短 和 长 上下文)
- 请访问 Phi-3-mini。
Phi-3 Vision 模型
Phi-3 系列还包括 Phi-3 Vision,这是一个 42 亿的多模态模型,旨在处理和解释文本和视觉数据。该模型支持高达 128000 个令牌,能够理解和分析图像中广泛而复杂的视觉元素,如图表、图形和表格等。
Granite Code
Granite Code 由 IBM 发布的模型是一个开放式编程模型,旨在协助完成各种编码任务。这些模型使用 116 种编程语言进行训练,可以生成代码示例、识别和修复错误,并为代码段提供说明。
这些模型在编码基准测试方面展示了先进的性能,并根据许可数据进行训练,因此适合企业使用。
已针对性能进行优化
这些模型针对延迟和吞吐量进行了优化,借助 NVIDIA TensorRT-LLM。它们还加入了由 NVIDIA Omniverse 提供的 NVIDIA NIM 微服务,以简化性能优化的部署和 NVIDIA AI 基础模型 的自定义模型。通过 NIM,10 – 100 倍的企业应用开发者能够更方便地为 AI 转型做出贡献。
NVIDIA 正在与领先的模型构建商合作,在完全加速的堆栈上为其模型提供支持。其中包括以下热门模型:
- Meta Llama 3 70B
- Llama 3 8B
- 我们支持的模型包括 Gemma 2B。
- 我们提供了 Mixtral 8X22B 模型。
- 还有更多
开始使用
要在企业应用程序中体验、自定义和部署这些模型,请参阅我们的 API 目录,以获取更多信息。
借助免费的 NVIDIA Cloud Credits,您可以开始大规模测试模型,并通过将应用程序连接到在完全加速堆栈上运行的 NVIDIA 托管 API 端点来构建概念验证 (POC)。