Run:ai

2025年 9月 16日
利用 NVIDIA Run:ai 模型流技术降低大型语言模型推理的冷启动延迟
部署大语言模型(LLM)在优化推理效率方面带来了显著挑战。其中,冷启动延迟——即模型加载到 GPU 显存所需的时间较长…
5 MIN READ

2025年 9月 2日
降低模型部署成本,同时通过 GPU 显存交换保持性能
大规模部署大语言模型(LLM)面临双重挑战:一方面需保障高需求时段的快速响应能力,另一方面又要有效控制 GPU 成本。组织通常面临两难选择:
2 MIN READ

2025年 7月 15日
借助亚马逊云科技上的 NVIDIA Run:ai 加速 AI 模型编排
在开发和部署高级 AI 模型时,访问可扩展的高效 GPU 基础设施至关重要。但是,在云原生、容器化环境中管理此基础设施可能既复杂又昂贵。
1 MIN READ

2025年 5月 9日
应用具有推理能力的专用大语言模型(LLM)加速电池研究
人工评估材料通常会拖慢电池创新等复杂领域的科学研究,限制了每天只有数十个候选材料的进展。在这篇博客文章中,
3 MIN READ

2025年 4月 1日
NVIDIA 开源 Run:ai 调度程序以推动社区协作
今天,NVIDIA 宣布推出 KAI Scheduler 的开源版本,这是一种 Kubernetes-native GPU 调度解决方案,
3 MIN READ