TensorRT-LLM

2024年 9月 25日

借助 Llama-3.1-Nemotron-51B 实现准确性和效率的突破性发展

今天，NVIDIA 发布了一个独特的语言模型，可提供无与伦比的准确性和效率性能。Llama 3.1…
3 MIN READ
2024年 9月 11日

聚焦：xpander AI 为 NVIDIA NIM 应用配备 Agentic 工具

为智能体 AI 应用配备工具将引领 AI 进入下一阶段。通过使自主智能体和其他 AI 应用能够获取实时数据、执行操作，并与外部系统交互，
3 MIN READ
2024年 9月 10日

使用 NVIDIA NeMo 和 NVIDIA TensorRT 模型优化器对 LLM 进行训练后量化

随着大语言模型（LLMs）的规模不断扩大，提供易于使用且高效的部署路径变得越来越重要，因为为此类 LLMs 提供服务的成本越来越高。
3 MIN READ
2024年 8月 28日

RTX AI PC 和工作站上部署多样化 AI 应用支持 Multi-LoRA

今天的大型语言模型（LLMs）在许多用例中都取得了前所未有的成果。然而，由于基础模型的通用性，应用程序开发者通常需要定制和调整这些模型，
3 MIN READ
2024年 8月 28日

NVIDIA Blackwell 平台在 MLPerf Inference v4.1 中创下新的 LLM 推理记录

大型语言模型 (LLM) 推理是一项全栈挑战。实现高吞吐量、低延迟推理需要强大的 GPU、高带宽 GPU 之间的互连、
4 MIN READ
2024年 8月 21日

Mistral-NeMo-Minitron 8B 基础模型实现准确性巅峰

上个月，NVIDIA 和 Mistral AI 推出了 Mistral NeMo 12B，这是一款领先的先进的大型语言模型（LLM）。
1 MIN READ
2024年 8月 14日

NVIDIA NIM 微服务助力大规模 LLM 推理效率优化

随着大型语言模型 (LLMs) 继续以前所未有的速度发展，企业希望构建生成式 AI 驱动的应用程序，以最大限度地提高吞吐量，降低运营成本，
2 MIN READ
2024年 8月 7日

Writer 推出医疗健康和金融领域专用大语言模型

作者发布了两个新的特定领域 AI 模型，Palmyra-Med 70B 和 Palmyra-Fin 70B，
2 MIN READ
2024年 7月 25日

借助 Codestral Mamba 新一代编码 LLM 实现代码完成革新突破

在快速发展的生成式 AI 领域，编码模型已成为开发者不可或缺的工具，可提高软件开发的生产力和精度。它们通过自动执行复杂任务、
1 MIN READ
2024年 6月 13日

阿里安全使用 NVIDIA NeMo 框架和 TensorRT-LLM 的大模型工程化落地实践

随着 ChatGPT 的一夜爆火，大模型如今越来越广泛的应用到各种业务领域中，阿里安全的业务领域对大模型技术的应用也已经 2 年有余。
4 MIN READ
2024年 6月 12日

揭开万亿参数大型语言模型 AI 推理部署的神秘面纱

人工智能（AI）正在改变各行各业，解决精准药物发现、自动驾驶汽车开发等重大人类科学挑战，
4 MIN READ
2024年 6月 11日

借助 NVIDIA TensorRT 轻量级引擎，为 AI 应用提供卓越性能和最小占用空间

NVIDIA TensorRT一个成熟的数据中心推理库，已迅速成为 NVIDIA GeForce RTX 和 NVIDIA RTX GPU…
2 MIN READ
2024年 6月 3日

NVIDIA 与 Hugging Face 合作，简化生成式 AI 模型部署

随着生成式 AI 的快速增长，社区通过两种重要方式加强了这种扩展：快速发布先进的基础模型，以及简化其与应用程序开发和生产的集成。
2 MIN READ
2024年 5月 30日

借助 Gipi、 NVIDIA TensortRT-LLM 和 AI 基础模型实现个性化学习

超过 1.2 亿人 正在积极学习新语言，而 5 亿学习者 正在数字学习平台（如 Duolingo）上学习。与此同时，全球很大一部分人口，
2 MIN READ
2024年 5月 8日

NVIDIA TensorRT 模型优化器加速生成人工智能推理性能，现已公开

在快速发展的环境中，生成人工智能的发展对加速推理速度的需求仍然是一个紧迫的问题。随着模型规模和复杂性的指数级增长，
3 MIN READ
2024年 4月 25日

NVIDIA GPU 架构下的 FP8 训练与推理

本文聚焦 NVIDIA FP8 训练与推理的实践应用，该内容来源于 2023 云栖大会 NVIDIA 专场演讲。 FP8 训练利用 E5M2/
5 MIN READ