Nick Comly

Nick Comly 是 NVIDIA 深度学习推理的产品经理。他致力于将 TensorRT 推理优化的功能直接应用于 PyTorch 、 TensorFlow 、 MXNet 、 ONNX 和飞浆等框架。 Nick 在斯坦福大学获得硕士学位,专攻深度学习和优化。

Posts by Nick Comly

数据中心/云端

NVIDIA TensorRT 10.0 升级可用性、性能和 AI 模型支持

NVIDIA 今天宣布最新发布的 NVIDIA TensorRT,一个用于高性能深度学习推理的 API 生态系统。 2 MIN READ
生成式人工智能/大语言模型

现已公开发布!欢迎使用 NVIDIA TensorRT-LLM 优化大语言模型推理

NVIDIA 于 2023 年 10 月 19 日公开发布 TensorRT-LLM, 3 MIN READ
生成式人工智能/大语言模型

NVIDIA TensorRT-LLM 在 NVIDIA H100 GPU 上大幅提升大语言模型推理能力

大语言模型(LLM)提供异常强大的新功能,拓展了 AI 的应用领域。但由于其庞大的规模和独特的执行特性,很难找到经济高效的使用方式。 3 MIN READ
人工智能/深度学习

使用 NVIDIA TensorRT 和 NVIDIA Triton 优化和提供模型

假设您已经使用 PyTorch 、 TensorFlow 或您选择的框架训练了您的模型,并对其准确性感到满意,并且正在考虑将其部署为服务。 3 MIN READ