Jun Yang

Jun Yang 是 NVIDIA 的高级工程总监,专注于 E2E AI 工作负载优化。目前,他正在领导 NVIDIA TensorRT-LLM 的整体工程工作。他拥有中国科学院计算技术研究所计算机架构硕士学位。

Posts by Jun Yang

数据中心/云端

NVIDIA Blackwell 平台在 MLPerf Inference v4.1 中创下新的 LLM 推理记录

大型语言模型 (LLM) 推理是一项全栈挑战。实现高吞吐量、低延迟推理需要强大的 GPU、高带宽 GPU 之间的互连、 4 MIN READ