TensorRT

2024年 12月 18日

NVIDIA TensorRT-LLM 现支持 Recurrent Drafting，实现 LLM 推理优化

Recurrent Drafting (简称 ReDrafter) 是苹果公司为大语言模型 (LLM) 推理开发并开源的一种新型推测解码技术，
2 MIN READ
2024年 12月 11日

NVIDIA TensorRT-LLM 现支持动态批处理加速编码器 - 解码器模型

NVIDIA 最近宣布， NVIDIA TensorRT-LLM 现可加速编码器 – 解码器模型架构 。
1 MIN READ
2024年 11月 20日

TensorRT-LLM 低精度推理优化：从速度和精度角度的 FP8 vs INT8 的全面解析

本文将分享 TensorRT-LLM 中低精度量化内容，并从精度和速度角度对比 FP8 与 INT8。首先介绍性能，包括速度和精度。其次，
5 MIN READ
2024年 11月 19日

Llama 3.2 全栈优化释放 NVIDIA GPU 的高性能

Meta 最近发布了 Llama 3.2 系列视觉语言模型（VLM），其中包含 11B 参数和 90B 参数变体。这些模型是多模态模型，
2 MIN READ
2024年 11月 15日

NVIDIA NIM 1.4 现已部署可用，推理速度提升 2.4 倍

随着 生成式 AI 重塑各行各业，对可立即部署的高性能推理的需求也在不断增长。 NVIDIA NIM 为 AI…
1 MIN READ
2024年 11月 8日

NVIDIA TensorRT-LLM KV 缓存早期重用实现首个令牌速度 5 倍提升

在上一篇 博客文章 中，我们展示了通过将键值 (KV) 缓存卸载到 CPU 内存来重复使用该缓存如何在基于 x86 的 NVIDIA…
2 MIN READ
2024年 11月 1日

NVSwitch 和 TensorRT-LLM MultiShot 共同加速 AllReduce 速度达 3 倍

在用户数量可能在数百到数十万之间波动，且输入序列长度随每个请求而变化的生产环境中，部署生成式 AI 工作负载会面临独特的挑战。
1 MIN READ
2024年 10月 7日

NVIDIA 加速库助力 Microsoft Bing 视觉搜索性能优化

Microsoft Bing 视觉搜索使全球用户能够使用照片作为查询来查找内容。该功能的核心是 Microsoft 的 TuringMM…
3 MIN READ
2024年 9月 25日

Llama 3.2 加速部署从边缘到云端实现提速

扩展开源 Meta Llama 模型集合，Llama 3.2 集合包括视觉语言模型（VLM）、小语言模型（SLM）和更新版的 Llama…
2 MIN READ
2024年 9月 24日

NVIDIA Aerial Omniverse 数字孪生助力打造新一代无线网络

6G 之旅已经开始，为提供高性能、高效、弹性和适应性强的网络基础设施提供了机会。6G 网络将比前代网络复杂得多，并且将依赖于各种新技术，
2 MIN READ
2024年 9月 23日

借助 ReMEmbR，生成式 AI 赋予机器人推理和行动能力

视觉语言模型 （VLM）通过将文本和图像投影到同一嵌入空间，将基础 LLM 的强大语言理解能力与 视觉 Transformer…
3 MIN READ
2024年 9月 11日

AI 工具助力农民抗击作物损失和气候变化影响

机器学习算法开始彻底改变现代农业，该技术使农民能够实时抗击病虫害，提高作物产量和利润，同时减少浪费、温室气体排放和杀虫剂的使用。 全球约 6%
1 MIN READ
2024年 9月 10日

使用 NVIDIA NeMo 和 NVIDIA TensorRT 模型优化器对 LLM 进行训练后量化

随着大语言模型（LLMs）的规模不断扩大，提供易于使用且高效的部署路径变得越来越重要，因为为此类 LLMs 提供服务的成本越来越高。
3 MIN READ
2024年 8月 28日

NVIDIA Blackwell 平台在 MLPerf Inference v4.1 中创下新的 LLM 推理记录

大型语言模型 (LLM) 推理是一项全栈挑战。实现高吞吐量、低延迟推理需要强大的 GPU、高带宽 GPU 之间的互连、
4 MIN READ
2024年 8月 21日

LLM 推理规模和性能优化的实践策略

随着聊天机器人和内容创建等许多应用越来越多地使用大型语言模型（LLM），了解扩展和优化推理系统的过程非常重要，
1 MIN READ
2024年 8月 15日

NVIDIA TensorRT 模型优化器 v0.15 提高推理性能扩展模型支持能力

NVIDIA 宣布推出新版 v0.15 NVIDIA TensorRT 模型优化器，这是一种先进的模型优化技术量化工具包，包含量化、
2 MIN READ