Posts by Carl (Izzy) Putterman
生成式人工智能/大语言模型
2024年 12月 17日
借助 NVIDIA TensorRT-LLM 预测解码,将 Llama 3.3 的推理吞吐量提升 3 倍
随着近期新增的 Llama 3.3 70B (一种纯文本指令调整模型),Meta 的开放 大语言模型 (LLMs) 集合将继续增长。
4 MIN READ
数据中心/云端
2024年 11月 15日
NVIDIA NIM 1.4 现已部署可用,推理速度提升 2.4 倍
随着 生成式 AI 重塑各行各业,对可立即部署的高性能推理的需求也在不断增长。 NVIDIA NIM 为 AI…
1 MIN READ
计算机视觉/视频分析
2022年 8月 30日
使用 GPUNet 在 NVIDIA GPU 上击败 SOTA 推理性能
GPUNet 由 AI 为 AI 精心打造,是一类卷积神经网络,旨在使用 NVIDIA TensorRT 最大化 NVIDIA GPU…
2 MIN READ
数据科学
2022年 2月 15日
利用NVIDIA 时间序列预测平台和 Triton 推理服务器进行时间序列预测
在这篇文章中,我们详细介绍了最近发布的 NVIDIA 时间序列预测平台( TSPP ),这是一个设计用于轻松比较和实验预测模型、
4 MIN READ