TensorRTLLM

2024年 4月 22日

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器提升 Meta Llama 3 性能

我们很高兴地宣布支持 Meta Llama 3 系列模型，通过 NVIDIA TensorRT LLM 加速和优化 LLM 推理性能。
2 MIN READ
2024年 4月 2日

使用 NVIDIA TensorRT-LLM 调整和部署 LoRA LLM

大型语言模型 (LLM) 可以从大量文本中学习，并为各种任务和领域生成流畅、一致的文本，从而彻底改变自然语言处理 (NLP)。然而，
7 MIN READ
2024年 3月 27日

NVIDIA H200 Tensor Core GPU 和 NVIDIA TensorRT-LLM 集 MLPerf LLM 推理记录

随着生成式 AI 模型的持续创新，生成式 AI 在计算应用方面取得了巨大进步，从而大幅增强人类能力。这些模型包括 生成式 AI 模型，
3 MIN READ
2024年 2月 5日

使用新的 NVIDIA AI 基础模型生成代码、回答查询并翻译文本

本周的 Model Monday 版本包含 NVIDIA 优化的代码 Lama、Kosmos-2 和 SeamlessM4T，
4 MIN READ
2024年 2月 1日

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 部署 AI 编码助手

大型语言模型 (LLM) 的出现革新了人工智能领域，为与数字世界的交互提供了全新的方式。尽管 LLM 通常能够提供良好的通用解决方案，
4 MIN READ