Triton Inference Server

训练人工智能模型需要大量的数据。获取大量训练数据可能很困难、耗时且成本高昂。此外，所收集的数据可能无法涵盖各种角落的情况，

NVIDIA AI 推理软件包括NVIDIA Triton 推理服务器，开源推理服务软件，以及NVIDIA TensorRT，

在 2023 年的 NVIDIA GTC 2023 上， NVIDIA 公布了其 NVIDIA AI 软件套件的显著更新，供开发者加速计算。

在许多生产级机器学习（ ML ）应用程序中，推理并不局限于在单个 ML 模型上运行前向传递。相反，通常需要执行 ML 模型的管道。例如，