张国铭

张国铭,NVIDIA 性能架构师,目前主要从事大模型推理架构和优化 。

Posts by 张国铭

生成式人工智能/大语言模型

TensorRT-LLM:LLM API 精简指令畅享卓越性能!

NVIDIA TensorRT-LLM 是一个专为 优化大语言模型 (LLM) 推理而设计的库。它提供了多种先进的优化技术 , 2 MIN READ