Jatin Gangani

Jatin Gangani 是 NVIDIA 深度学习计算团队的高级计算机架构师。他热衷于突破数据中心 AI 推理的硬件和软件性能极限。他最近专注于提升 TensorRT-LLM 软件的性能。Jatin 拥有理科硕士学位。北卡罗来纳州立大学计算机工程专业。

Posts by Jatin Gangani

生成式人工智能/大语言模型 2025年 2月 14日

使用 NVIDIA TensorRT-LLM 前瞻性解码优化 Qwen2.5-Coder 吞吐量

专注于编码的 大语言模型（LLMs） 已稳步应用于开发者工作流程。从配对编程到自我改进的 AI 智能体 ，这些模型可帮助开发者完成各种任务， 3 MIN READ
生成式人工智能/大语言模型 2024年 12月 17日

借助 NVIDIA TensorRT-LLM 预测解码，将 Llama 3.3 的推理吞吐量提升 3 倍

随着近期新增的 Llama 3.3 70B (一种纯文本指令调整模型)，Meta 的开放 大语言模型 (LLMs) 集合将继续增长。 4 MIN READ