Rakib Hasan

Rakib Hasan 是 NVIDIA 的高级 AI 开发者技术工程师,专门优化深度学习工作负载,包括大语言模型 (LLM) 推理。他通过添加对 Llama 模型的支持并实现 RoPE 缩放和推理解码等功能,为 TensorRT-LLM 做出了贡献。Rakib 拥有路易斯安那州立大学 (LSU) 的博士学位,专注于在 x64 和 ARM CPU 上优化数学库。

Posts by Rakib Hasan

生成式人工智能/大语言模型

NVIDIA TensorRT-LLM 现支持 Recurrent Drafting,实现 LLM 推理优化

Recurrent Drafting (简称 ReDrafter) 是苹果公司为大语言模型 (LLM) 推理开发并开源的一种新型推测解码技术, 2 MIN READ