Haohang Huang

Haohang Huang 是 NVIDIA 的高级 AI 开发者技术工程师。他致力于在 GPU 上加速生成式 AI 应用程序,主要研究计算机视觉和大语言模型。他获得了伊利诺伊大学香槟分校的博士学位。

Posts by Haohang Huang

生成式人工智能/大语言模型

NVIDIA TensorRT-LLM 现支持 Recurrent Drafting,实现 LLM 推理优化

Recurrent Drafting (简称 ReDrafter) 是苹果公司为大语言模型 (LLM) 推理开发并开源的一种新型推测解码技术, 2 MIN READ
生成式人工智能/大语言模型

NVIDIA TensorRT-LLM 现支持动态批处理加速编码器 - 解码器模型

NVIDIA 最近宣布, NVIDIA TensorRT-LLM 现可加速编码器 – 解码器模型架构 。 1 MIN READ