Patrice Castonguay

Patrice Castonguay 是 NVIDIA TensorRT-LLM 的首席软件工程师。他拥有计算流体力学背景,长期带领团队开发面向稀疏线性代数、语音识别、语音合成及大型语言模型的 GPU 加速库。他拥有斯坦福大学航空航天工程博士学位。

Posts by Patrice Castonguay

生成式人工智能/大语言模型

TensorRT-LLM 中的分离式服务

在之前的技术博客中,我们介绍了低延迟和高吞吐场景的优化方法。对于生产部署,用户还关心在满足特定延迟约束的情况下,每个 GPU 的吞吐表现。 3 MIN READ