AI Platforms / Deployment

2024年 12月 16日

2024 年热门文章：NVIDIA NIM、语言模型突破和数据科学优化的精要

对于使用 NVIDIA 技术的开发者、研究人员和创新者来说，2024 年又是具有里程碑意义的一年。
2 MIN READ
2024年 12月 12日

延时 AI 模型增强 IVF 胚胎选择

来自康奈尔大学 (Weill Cornell Medicine) 的 研究人员 开发了一种由 AI 提供支持的模型，
1 MIN READ
2024年 12月 5日

聚焦：Perplexity AI 利用 NVIDIA 推理栈每月服务 4 亿个搜索请求

对 AI 赋能服务的需求持续快速增长，这给 IT 和基础设施团队带来了越来越大的压力。这些团队的任务是配置必要的硬件和软件来满足这一需求，
2 MIN READ
2024年 11月 8日

NVIDIA TensorRT-LLM KV 缓存早期重用实现首个令牌速度 5 倍提升

在上一篇 博客文章 中，我们展示了通过将键值 (KV) 缓存卸载到 CPU 内存来重复使用该缓存如何在基于 x86 的 NVIDIA…
2 MIN READ
2024年 11月 1日

NVSwitch 和 TensorRT-LLM MultiShot 共同加速 AllReduce 速度达 3 倍

在用户数量可能在数百到数十万之间波动，且输入序列长度随每个请求而变化的生产环境中，部署生成式 AI 工作负载会面临独特的挑战。
1 MIN READ