Omer Dayan

Omer Dayan 是 RunAI 的软件开发者,RunAI 是一家被 NVIDIA 收购的初创公司,专门从事 AI 基础设施开发。Omer 的研究重点是提高推理软件的效率和性能。Omer 是开源 KAI Scheduler 项目的维护者,对 Nintendo Game Boy 架构有着浓厚的技术兴趣。

Posts by Omer Dayan

AI 平台/部署

利用 NVIDIA Run:ai 模型流技术降低大型语言模型推理的冷启动延迟

部署大语言模型(LLM)在优化推理效率方面带来了显著挑战。其中,冷启动延迟——即模型加载到 GPU 显存所需的时间较长… 5 MIN READ