Shivam Raj

Shivam Raj 是 NVIDIA GPU 架构团队的高级架构师。他专注于数据中心 AI 工作负载的训练和推理性能。Shivam 拥有南加州大学电气工程硕士学位。

Posts by Shivam Raj

数据中心/云端

NVIDIA NVLink 和 NVIDIA NVSwitch 加速大语言模型推理性能

大型语言模型(LLM)越来越大,增加了处理推理请求所需的计算量。为了满足服务当今LLM的实时延迟要求,并为尽可能多的用户提供服务, 3 MIN READ
数据中心/云端

揭开万亿参数大型语言模型 AI 推理部署的神秘面纱

人工智能(AI)正在改变各行各业,解决精准药物发现、自动驾驶汽车开发等重大人类科学挑战, 4 MIN READ