NVIDIA CUDA -X AI 是一个深入学习的软件堆栈，供研究人员和软件开发人员构建高性能 GPU – 用于对话 AI 、推荐系统和计算机视觉的加速应用程序。
了解 CUDA -X AI 工具和库的最新版本。有关 NVIDIA 开发工具的更多信息，请参加 NVIDIA GTC 上的在线研讨会、培训和“联系专家”课程。
有关更多信息，请参阅documentation中每个软件包的发行说明。
NVIDIA Triton 推理服务器
NVIDIA Triton ™ 推理服务器是一种开源的推理服务软件，它为生产中的应用程序提供快速、可扩展的 AI 模型。它支持每一个框架，在每一个基于 GPU 或 CPU 的本地、云中和边缘基础设施上运行。
更新内容包括：
- 业务逻辑脚本（测试版）：用于调用正在执行的 Python 模型中的其他模型的函数。
- 容器组合实用程序：使用特定后端和存储库代理创建自定义 Triton 容器。
- NGC 上的两个新容器，从 Triton 21 . 08 开始
- nvcr . io / NVIDIA / Triton 服务器： 21 . 08-tf- Python -py3 – GPU 已启用 Triton 服务器，只有 TensorFlow 2 . x 和 Python 后端。
- nvcr . io / NVIDIA / Triton 服务器： 21 . 08-pyt- Python -py3 – GPU 已启用 Triton 服务器，仅具有 PyTorch 和 Python 后端。
TensorRT 8 . 0
TensorRT 是一个高性能深度学习推理平台。此版本包括：
- BERT – 使用新的 transformer 优化在 1 . 2 毫秒内进行大推断。
- 使用量化感知训练，以 INT8 精度实现与 FP32 相当的精度。
- 稀疏性支持在安培 GPU 上进行更快的推断。
NVIDIA NeMo
NVIDIA NeMo 是一个开源工具包，用于开发最先进的对话人工智能模型。 NVIDIA 在 Interspeech 2021 上共享了新的语音处理research和使用 NeMo 的教程，包括：
有关所有已接受研究的链接，请访问 NVIDIA interspeech event page。
从 NeMo GitHub 存储库和 NVIDIA 开发者博客访问其他教程。
NVIDIA Maxine
Maxine 提供加速实时视频效果（ VFX ）、音频效果（ AFX ）和增强现实（ AR ） SDK ，这些 SDK 具有最先进的基于 AI 的功能，用于构建虚拟协作和内容创建应用程序。
本版本的亮点包括：
- 虚拟背景（ VFX ）通过各种对象分割（椅子、衣服、麦克风）提供更高的流质量，对运动和光线变化的鲁棒性，以及在 GPU 密集工作负载下启用 CUDA 图形以减少延迟的选项。
- 超分辨率（ VFX ）增加了对 4K 视频输入分辨率的支持，具有 2 倍的高比例因子。
- 噪音消除（ AFX ）可以更好地保留语音，尤其是当输入本质上是情绪化的时。房间回声消除（ AFX ）在与噪音消除一起工作的同时，提高了整体质量。
- 三维人体姿态估计（ AR ）增强了身体关节位置和角度的准确性和时间稳定性。它还提供了关键点跟踪鲁棒性的身体四肢，同时伸出和到一边。
- 所有 Linux SDK 都支持 A100 、 A30 和 A10 MIG ，以确保跨 GPU 分区的性能一致。
NGC 更新
NGC 目录是 GPU 优化容器、预训练模型、 SDK 和头盔图表的中心，旨在加速端到端 AI 工作流。更新内容包括：
深度学习框架
- 21 . 08 用于TensorFlow、PyTorch和MXNet的容器
- 支持 CUDA 11 . 4 、 Dali 1 . 4 和 Ubuntu 20 . 04
Clara AGX 系列
- 这种不断增长的人工智能框架集合、参考应用程序和 AI 模型是为 Clara AGX 开发工具包和实时医疗仪器开发而构建的
- 包括宏基因组学、皮肤病学、超声波和流媒体视频的容器。
新的和更新的合作伙伴软件
- Autovox 印地语 ASR 集装箱： Autovox 是 Cogknit 语义的语音操作系统平台，提供多种语言模型： ASR 、 MT 和 TTS 。此受限访问 ASR 容器将印地语音频转换为印地语文本。
- 丛式卫星容器–提供了一套丰富的工具，用于在核心 Scientific Plexus 软件堆栈上设置和管理孤立的联网 Kubernetes 群集。一个新特性允许 Plexus 平台通过 ssh 连接管理单个节点，而无需任何资源管理器。
