Posts by Joe Delaere
数据中心/云端
2024年 8月 12日
NVIDIA NVLink 和 NVIDIA NVSwitch 加速大语言模型推理性能
大型语言模型(LLM)越来越大,增加了处理推理请求所需的计算量。为了满足服务当今LLM的实时延迟要求,并为尽可能多的用户提供服务,
3 MIN READ
生成式人工智能/大语言模型
2023年 9月 8日
NVIDIA TensorRT-LLM 在 NVIDIA H100 GPU 上大幅提升大语言模型推理能力
大语言模型(LLM)提供异常强大的新功能,拓展了 AI 的应用领域。但由于其庞大的规模和独特的执行特性,很难找到经济高效的使用方式。
3 MIN READ
数据中心/云端/边缘
2022年 8月 30日
分割 NVIDIA A30 GPU 并征服多个工作负载
多实例 GPU ( MIG )是 NVIDIA H100 , A100 和 A30 张量核 GPU ,因为它可以将 GPU 划分为多个实例。
4 MIN READ