Posts by Lalit Vaidya
生成式人工智能/大语言模型
2025年 2月 14日
使用 NVIDIA TensorRT-LLM 前瞻性解码优化 Qwen2.5-Coder 吞吐量
专注于编码的 大语言模型（LLMs） 已稳步应用于开发者工作流程。从配对编程到自我改进的 AI 智能体 ，这些模型可帮助开发者完成各种任务，
3 MIN READ
生成式人工智能/大语言模型
2024年 12月 17日
借助 NVIDIA TensorRT-LLM 预测解码，将 Llama 3.3 的推理吞吐量提升 3 倍
随着近期新增的 Llama 3.3 70B (一种纯文本指令调整模型)，Meta 的开放 大语言模型 (LLMs) 集合将继续增长。
4 MIN READ