卢翔龙

卢翔龙,NVIDIA 资深软件解决方案架构师,负责 Dynamo 软件栈在互联网行业的工程合作与落地

Posts by 卢翔龙

生成式人工智能/大语言模型

使用 NVIDIA Dynamo 部署 72B 模型提升 PD 分离性能

在生产环境部署大模型推理服务时,技术团队往往会遇到诸多挑战,例如缺乏成熟的 PD 分离方案、自动扩缩容机制不够灵活、缺乏动态路由, 2 MIN READ