AI Inference

2024年 2月 1日

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 部署 AI 编码助手

大型语言模型 (LLM) 的出现革新了人工智能领域，为与数字世界的交互提供了全新的方式。尽管 LLM 通常能够提供良好的通用解决方案，
4 MIN READ
2024年 1月 29日

使用全卷积网络在 Transformer 模型中模拟注意力机制

在过去十年中，深度学习技术在计算机视觉 (CV) 任务中的应用大幅增加。卷积神经网络 (CNN) 一直是这场革命的基石，展示了卓越的性能，
3 MIN READ
2024年 1月 8日

借助 NVIDIA RTX 系统为 Windows PC 上的 LLM 应用程序提供强效助力

大型语言模型 (LLM) 正在从根本上改变我们与计算机的交互方式。从互联网搜索到办公效率工具，这些模型正被整合到各种应用中。
2 MIN READ
2024年 1月 4日

借助 H2O.ai 和 NVIDIA 加速端到端工作流程的推理

数据科学家利用生成式 AI和预测分析构建新一代 AI 应用。在金融服务领域，AI 建模和推理可用于多种解决方案，包括用于投资分析的替代数据、
3 MIN READ
2023年 12月 14日

生成式 AI 研究聚焦：揭开基于扩散的模型的神秘面纱

借助互联网级数据，AI 生成内容的计算需求显著增加，数据中心在数周或数月内全力运行单个模型，更不用说通常作为服务提供的高生成推理成本。
5 MIN READ
2023年 12月 13日

借助 NVIDIA H100 Tensor Core GPU 和 NVIDIA TensorRT-LLM 实现出色的推理性能

出色的 AI 性能需要高效的并行计算架构、高效的工具堆栈和深度优化的算法。NVIDIA 发布了 NVIDIA TensorRT-LLM，
2 MIN READ
2023年 11月 27日

宣布推出 HelpSteer：用于构建实用 LLM 的开源数据集

NVIDIA 最近宣布了 NVIDIA NeMo SteerLM 技术，它是 NVIDIA NeMo 的一部分。
3 MIN READ
2023年 11月 17日

掌握 LLM 技术：推理优化

通过堆叠 Transformer 层来创建大型模型，可以提高准确性、实现少量学习功能，并且在各种语言任务中实现近乎人类的性能。
4 MIN READ