邵将

NVIDIA DevTech 团队,动力工程及工程热物理专业博士学位,毕业于北京航空航天大学。主要负责 AI、HPC 等领域的 GPU 并行计算程序性能优化。

Posts by 邵将

加速计算

使用 NVIDIA TensorRT-LLM 支持 CodeFuse-CodeLlama-34B 上的 int4 量化和推理优化实践

Codefuse(https://github.com/codefuse-ai)是由蚂蚁集团开发的代码语言大模型, 3 MIN READ