Posts by Jamie Li
开发与优化
2025年 10月 7日
使用 NVIDIA TensorRT Model Optimizer 剪枝和蒸 LLM
大语言模型（LLM）在自然语言处理（NLP）任务，如代码生成、推理和数学计算等方面，展现出卓越的性能，树立了新的标杆。然而，
3 MIN READ
数据中心/云端
2025年 9月 17日
用于降低 AI 推理延迟的预测性解码简介
使用大语言模型（LLM）生成文本时，通常会面临一个基本瓶颈。尽管 GPU 能够提供强大的计算能力，但由于自回归生成本质上是顺序进行的，
2 MIN READ