Inference Performance

2025年 4月 2日

NVIDIA Blackwell 在 MLPerf Inference v5.0 中实现巨大的性能飞跃

在不断增长的模型大小、实时延迟要求以及最近的 AI 推理的推动下， 大语言模型 (LLM) 推理的计算需求正在快速增长。与此同时，
3 MIN READ
2025年 3月 20日

借助 NVIDIA TensorRT-LLM 提升 Microsoft Azure AI Foundry 的 Llama 模型性能

微软与 NVIDIA 合作，宣布在其 Azure AI Foundry 平台上实现 Meta Llama 系列模型的变革性性能提升。
1 MIN READ
2025年 3月 18日

隆重推出 NVIDIA Dynamo：用于扩展推理AI模型的低延迟分布式推理框架

NVIDIA 今天在 GTC 2025 宣布发布 NVIDIA Dynamo 。NVIDIA Dynamo 是一个高吞吐量、
4 MIN READ
2025年 3月 18日

NVIDIA Blackwell 实现世界纪录的 DeepSeek-R1 推理性能

NVIDIA 在 NVIDIA GTC 2025 上宣布了创下世界纪录的 DeepSeek-R1 推理性能 。 搭载 8 个 NVIDIA…
5 MIN READ
2025年 2月 14日

使用 NVIDIA TensorRT-LLM 前瞻性解码优化 Qwen2.5-Coder 吞吐量

专注于编码的 大语言模型（LLMs） 已稳步应用于开发者工作流程。从配对编程到自我改进的 AI 智能体 ，这些模型可帮助开发者完成各种任务，
3 MIN READ
2024年 12月 24日

借助 NVIDIA 全栈解决方案提升 AI 推理性能

AI 驱动的应用的爆炸式发展对开发者提出了前所未有的要求，他们必须在提供先进的性能与管理运营复杂性和成本以及 AI 基础设施之间取得平衡。
2 MIN READ
2024年 12月 18日

NVIDIA TensorRT-LLM 现支持 Recurrent Drafting，实现 LLM 推理优化

Recurrent Drafting (简称 ReDrafter) 是苹果公司为大语言模型 (LLM) 推理开发并开源的一种新型推测解码技术，
2 MIN READ
2024年 12月 17日

借助 NVIDIA TensorRT-LLM 预测解码，将 Llama 3.3 的推理吞吐量提升 3 倍

随着近期新增的 Llama 3.3 70B (一种纯文本指令调整模型)，Meta 的开放 大语言模型 (LLMs) 集合将继续增长。
4 MIN READ
2024年 12月 5日

聚焦：Perplexity AI 利用 NVIDIA 推理栈每月服务 4 亿个搜索请求

对 AI 赋能服务的需求持续快速增长，这给 IT 和基础设施团队带来了越来越大的压力。这些团队的任务是配置必要的硬件和软件来满足这一需求，
2 MIN READ
2024年 11月 19日

Llama 3.2 全栈优化释放 NVIDIA GPU 的高性能

Meta 最近发布了 Llama 3.2 系列视觉语言模型（VLM），其中包含 11B 参数和 90B 参数变体。这些模型是多模态模型，
2 MIN READ
2024年 11月 15日

借助 NVIDIA TensorRT-LLM 分块预填充提高 AI 推理效率和简化部署

在本 博文 中，我们详细介绍了分块预填充，这是 NVIDIA TensorRT-LLM 的一项功能，
1 MIN READ
2024年 11月 8日

NVIDIA TensorRT-LLM KV 缓存早期重用实现首个令牌速度 5 倍提升

在上一篇 博客文章 中，我们展示了通过将键值 (KV) 缓存卸载到 CPU 内存来重复使用该缓存如何在基于 x86 的 NVIDIA…
2 MIN READ