王智

蚂蚁集团技术专家,博士毕业于北京邮电大学。主要研究方向为强化学习和贝叶斯优化。目前主要关注LLM推理加速技术。

Posts by 王智

加速计算

使用 NVIDIA TensorRT-LLM 支持 CodeFuse-CodeLlama-34B 上的 int4 量化和推理优化实践

Codefuse(https://github.com/codefuse-ai)是由蚂蚁集团开发的代码语言大模型, 3 MIN READ