Posts by Amr Elmeleegy
数据中心/云端
2025年 3月 18日
隆重推出 NVIDIA Dynamo：用于扩展推理AI模型的低延迟分布式推理框架
NVIDIA 今天在 GTC 2025 宣布发布 NVIDIA Dynamo 。NVIDIA Dynamo 是一个高吞吐量、
4 MIN READ
AI 平台/部署
2024年 12月 5日
聚焦：Perplexity AI 利用 NVIDIA 推理栈每月服务 4 亿个搜索请求
对 AI 赋能服务的需求持续快速增长，这给 IT 和基础设施团队带来了越来越大的压力。这些团队的任务是配置必要的硬件和软件来满足这一需求，
2 MIN READ
数据中心/云端
2024年 11月 15日
借助 NVIDIA TensorRT-LLM 分块预填充提高 AI 推理效率和简化部署
在本 博文 中，我们详细介绍了分块预填充，这是 NVIDIA TensorRT-LLM 的一项功能，
1 MIN READ
AI 平台/部署
2024年 11月 8日
NVIDIA TensorRT-LLM KV 缓存早期重用实现首个令牌速度 5 倍提升
在上一篇 博客文章 中，我们展示了通过将键值 (KV) 缓存卸载到 CPU 内存来重复使用该缓存如何在基于 x86 的 NVIDIA…
2 MIN READ
生成式人工智能/大语言模型
2024年 11月 1日
NVSwitch 和 TensorRT-LLM MultiShot 共同加速 AllReduce 速度达 3 倍
在用户数量可能在数百到数十万之间波动，且输入序列长度随每个请求而变化的生产环境中，部署生成式 AI 工作负载会面临独特的挑战。
1 MIN READ
生成式人工智能/大语言模型
2024年 8月 28日
NVIDIA Triton 推理服务器在 MLPerf Inference 4.1 基准测试中实现出色性能
六年前，我们踏上了开发 AI 推理服务解决方案的旅程，该解决方案专为高吞吐量和时间敏感型生产用例而设计。当时，ML 开发者正在部署定制的、
2 MIN READ