Posts by Nick Comly
数据中心/云端
2024年 8月 12日
NVIDIA NVLink 和 NVIDIA NVSwitch 加速大语言模型推理性能
大型语言模型（LLM）越来越大，增加了处理推理请求所需的计算量。为了满足服务当今LLM的实时延迟要求，并为尽可能多的用户提供服务，
3 MIN READ
数据中心/云端
2024年 5月 14日
NVIDIA TensorRT 10.0 升级可用性、性能和 AI 模型支持
NVIDIA 今天宣布最新发布的 NVIDIA TensorRT，一个用于高性能深度学习推理的 API 生态系统。
2 MIN READ
生成式人工智能/大语言模型
2023年 10月 19日
现已公开发布！欢迎使用 NVIDIA TensorRT-LLM 优化大语言模型推理
NVIDIA 于 2023 年 10 月 19 日公开发布 TensorRT-LLM，
3 MIN READ
生成式人工智能/大语言模型
2023年 9月 8日
NVIDIA TensorRT-LLM 在 NVIDIA H100 GPU 上大幅提升大语言模型推理能力
大语言模型（LLM）提供异常强大的新功能，拓展了 AI 的应用领域。但由于其庞大的规模和独特的执行特性，很难找到经济高效的使用方式。
3 MIN READ
人工智能/深度学习
2022年 7月 20日
使用 NVIDIA TensorRT 和 NVIDIA Triton 优化和提供模型
假设您已经使用 PyTorch 、 TensorFlow 或您选择的框架训练了您的模型，并对其准确性感到满意，并且正在考虑将其部署为服务。
3 MIN READ