Posts by Nick Comly
生成式人工智能/大语言模型
2023年 10月 19日
现已公开发布！欢迎使用 NVIDIA TensorRT-LLM 优化大语言模型推理
NVIDIA 于 2023 年 10 月 19 日公开发布 TensorRT-LLM，
3 MIN READ
生成式人工智能/大语言模型
2023年 9月 8日
NVIDIA TensorRT-LLM 在 NVIDIA H100 GPU 上大幅提升大语言模型推理能力
大语言模型（LLM）提供异常强大的新功能，拓展了 AI 的应用领域。但由于其庞大的规模和独特的执行特性，很难找到经济高效的使用方式。
3 MIN READ
人工智能/深度学习
2022年 7月 20日
使用 NVIDIA TensorRT 和 NVIDIA Triton 优化和提供模型
假设您已经使用 PyTorch 、 TensorFlow 或您选择的框架训练了您的模型，并对其准确性感到满意，并且正在考虑将其部署为服务。
3 MIN READ