Triton

2024年 1月 9日

在 GPU 上高效部署语音 AI 模型

导读：本文将介绍如何在GPU上高效地部署语音AI模型，主要内容如下：
3 MIN READ
2023年 1月 12日

使用 Kubernetes 自动缩放 NVIDIA Riva 部署，用于生产中的语音 AI

语音 AI 应用，从呼叫中心到虚拟助理，严重依赖 自动语音识别 （ ASR ）和文本转语音（ TTS ）。
4 MIN READ
2022年 12月 19日

使用 NVIDIA Triton 推理服务器从公共库 ModelZoo 部署不同的 AI 模型类别

如今，针对 TensorFlow 、 ONNX 、 PyTorch 、 Keras 、 MXNet 等不同框架，出现了大量最先进（ SOTA…
4 MIN READ
2022年 11月 30日

自动驾驶的最优 AI 推理流水线设计

自动驾驶汽车必须能够快速准确地检测物体，以确保其驾驶员和道路上其他驾驶员的安全。由于自动驾驶（ AD ）和视觉检查用例中对实时处理的需求，
3 MIN READ
2022年 11月 4日

使用 NVIDIA NeMo Megatron 部署 1.3B GPT-3 型号

Large language models ( LLMs）是一些能够理解书面语言的最先进的深度学习算法。
4 MIN READ
2022年 10月 25日

使用 NVIDIA Triton 推理服务器支持的 Amazon SageMaker 多模型端点在同一 GPU 上运行多个 AI 模型

去年 11 月，AWS 在 Amazon SageMaker 中集成了开源推理服务软件 NVIDIA Triton Inference…
1 MIN READ
2022年 9月 29日

NADP + Triton: 搭建稳定高效的推理平台

业务背景 蔚来自动驾驶研发平台(NADP)是着力服务于自动驾驶核心业务方向的研发平台。平台化的推理能力作为常规机器学习平台的重要组成部分，
2 MIN READ
2022年 9月 21日

GTC 推出新语言、增强网络安全和医疗 AI 框架

在 GTC 2022 年， NVIDIA 对 AI 框架进行了增强，以构建实时语音 AI 应用程序、大规模设计高性能推荐者、
4 MIN READ
2022年 9月 21日

新的 SDK 加速 AI 研究、计算机视觉、数据科学等

NVIDIA 向开发者透露了 AI 软件套件的主要更新，包括 JAX 、 NVIDIA CV-CUDA 和 NVIDIA RAPIDS 。
3 MIN READ
2022年 9月 21日

使用 NVIDIA Triton 解决人工智能推断挑战

在生产中部署 AI 模型以满足 AI 驱动应用程序的性能和可扩展性要求，同时保持低基础设施成本是一项艰巨的任务。
3 MIN READ
2022年 8月 3日

使用 FasterTransformer 和 Triton 推理服务器加速大型 Transformer 模型的推理

这是讨论 NVIDIA FasterTransformer 库的两部分系列的第一部分，
3 MIN READ
2022年 8月 3日

使用 FasterTransformer 和 Triton 推理服务器部署 GPT-J 和 T5

这是关于 NVIDIA 工具的两部分系列的第二部分，这些工具允许您运行大型Transformer模型以加速推理。
5 MIN READ
2022年 6月 28日

Transformers4Rec ：使用 NVIDIA Merlin 库构建基于会话的建议

推荐系统可以帮助您发现新产品并做出明智的决策。然而，在许多依赖于推荐的领域，如电子商务、新闻和流媒体服务，用户可能无法跟踪，
3 MIN READ
2022年 5月 23日

实现智能制造的工业推理管道

在制造过程和质量管理体系中实施质量控制和保证方法，确保最终产品满足客户要求和满意度。表面缺陷检测系统可以使用图像数据进行检查和分类，
1 MIN READ
2022年 5月 23日

使用 NVIDIA Triton 模型分析器确定规模上的最佳 AI 模型服务配置

模型部署是 机器学习 生命周期的一个关键阶段，在此阶段，经过培训的模型将集成到现有的应用程序生态系统中。这往往是最繁琐的步骤之一，
3 MIN READ
2022年 5月 19日

NVIDIA Triton 助力腾讯PCG加速在线推理, 提高设备效能

腾讯平台与内容事业群（简称 腾讯PCG）负责公司互联网平台和内容文化生态融合发展，整合QQ、QQ空间等社交平台，和应用宝、浏览器等流量平台，
1 MIN READ