Posts by Anjali Shah
数据中心/云端
2025年 3月 18日
NVIDIA Blackwell 实现世界纪录的 DeepSeek-R1 推理性能
NVIDIA 在 NVIDIA GTC 2025 上宣布了创下世界纪录的 DeepSeek-R1 推理性能 。 搭载 8 个 NVIDIA…
5 MIN READ
生成式人工智能/大语言模型
2025年 2月 14日
使用 NVIDIA TensorRT-LLM 前瞻性解码优化 Qwen2.5-Coder 吞吐量
专注于编码的 大语言模型（LLMs） 已稳步应用于开发者工作流程。从配对编程到自我改进的 AI 智能体 ，这些模型可帮助开发者完成各种任务，
3 MIN READ
生成式人工智能/大语言模型
2025年 1月 16日
在 NVIDIA TensorRT-LLM 中引入新型 KV 缓存重用优化策略
语言模型通过预测下一个令牌 (给定所有先前的令牌，包括输入文本令牌) 来生成文本。在 LLM 服务中，先前令牌的键和值元素用作历史语境，
2 MIN READ
生成式人工智能/大语言模型
2024年 12月 17日
借助 NVIDIA TensorRT-LLM 预测解码，将 Llama 3.3 的推理吞吐量提升 3 倍
随着近期新增的 Llama 3.3 70B (一种纯文本指令调整模型)，Meta 的开放 大语言模型 (LLMs) 集合将继续增长。
4 MIN READ
生成式人工智能/大语言模型
2024年 12月 11日
NVIDIA TensorRT-LLM 现支持动态批处理加速编码器 - 解码器模型
NVIDIA 最近宣布， NVIDIA TensorRT-LLM 现可加速编码器 – 解码器模型架构 。
1 MIN READ
数据中心/云端
2024年 11月 19日
Llama 3.2 全栈优化释放 NVIDIA GPU 的高性能
Meta 最近发布了 Llama 3.2 系列视觉语言模型（VLM），其中包含 11B 参数和 90B 参数变体。这些模型是多模态模型，
2 MIN READ