Oz Bar-Shalom

Oz Bar-Shalom 是一位产品经理,在云基础设施方面拥有十年的经验。在 NVIDIA,他致力于开发 Run:ai 产品,帮助企业组织优化其 AI 基础设施。他专注于推理、多租户和基础设施兼容性方面的挑战,推动解决方案的发展,使大规模运行工作负载的组织能够有效访问复杂的 AI 系统。此前,他曾担任 Run:ai 的产品经理,并在打造基于 AI 的产品的 Oosto 担任工程领导职务。

Posts by Oz Bar-Shalom

代理式 AI/生成式 AI

利用 NVIDIA Run:ai 和 NVIDIA Dynamo 进行快速高效 LLM 推理的智能多节点调度

大语言模型的复杂性呈指数级增长,带来了诸多挑战,例如模型规模超出单个 GPU 的承载能力、对高吞吐量与低延迟工作负载的需求, 3 MIN READ