AI 推理

2024年 5月 8日

NVIDIA TensorRT 模型优化器加速生成人工智能推理性能，现已公开

在快速发展的环境中，生成人工智能的发展对加速推理速度的需求仍然是一个紧迫的问题。随着模型规模和复杂性的指数级增长，
3 MIN READ
2024年 4月 22日

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器提升 Meta Llama 3 性能

我们很高兴地宣布支持 Meta Llama 3 系列模型，通过 NVIDIA TensorRT LLM 加速和优化 LLM 推理性能。
2 MIN READ
2024年 4月 22日

Mistral Large 和 Mixtral 8x22B LLM 现已由 NVIDIA NIM 和 NVIDIA API 提供支持

本周发布的模型包括两个新的 NVIDIA AI 基础模型：Mistral Large 和 Mixtral 8x22B。
1 MIN READ
2024年 4月 2日

使用 NVIDIA TensorRT-LLM 调整和部署 LoRA LLM

大型语言模型 (LLM) 可以从大量文本中学习，并为各种任务和领域生成流畅、一致的文本，从而彻底改变自然语言处理 (NLP)。然而，
7 MIN READ
2024年 3月 27日

NVIDIA H200 Tensor Core GPU 和 NVIDIA TensorRT-LLM 集 MLPerf LLM 推理记录

随着生成式 AI 模型的持续创新，生成式 AI 在计算应用方面取得了巨大进步，从而大幅增强人类能力。这些模型包括 生成式 AI 模型，
3 MIN READ
2024年 3月 18日

NVIDIA GB200 NVL72 提供万亿参数 LLM 训练和实时推理

对万亿参数模型的兴趣是什么？我们知道当今的许多用例，并且由于有望提高以下方面的能力，人们的兴趣正在增加： 其优势是巨大的，
3 MIN READ
2024年 3月 7日

NVIDIA TensorRT 通过 8 位预训练量化将 Stable Diffusion 的速度提升近 2 倍

在生成式 AI 的动态领域，扩散模型脱颖而出，成为使用文本提示生成高质量图像的功能强大的架构 .
3 MIN READ