Laikh Tewari

Laikh Tewari 是 NVIDIA AI 平台软件团队的成员,负责管理用于优化 LLM 推理性能的产品。Laikh 获得了学士学位和理科硕士。斯坦福大学计算机科学专业,专注于系统和 AI。

Posts by Laikh Tewari

生成式人工智能/大语言模型

在 NVIDIA TensorRT-LLM 中引入新型 KV 缓存重用优化策略

语言模型通过预测下一个令牌 (给定所有先前的令牌,包括输入文本令牌) 来生成文本。在 LLM 服务中,先前令牌的键和值元素用作历史语境, 2 MIN READ