Triton 推断服务器

2024年 2月 5日

使用新的 NVIDIA AI 基础模型生成代码、回答查询并翻译文本

本周的 Model Monday 版本包含 NVIDIA 优化的代码 Lama、Kosmos-2 和 SeamlessM4T，
4 MIN READ
2024年 2月 1日

借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 部署 AI 编码助手

大型语言模型 (LLM) 的出现革新了人工智能领域，为与数字世界的交互提供了全新的方式。尽管 LLM 通常能够提供良好的通用解决方案，
4 MIN READ
2024年 1月 25日

借助 NVIDIA AI Enterprise 推进生产级 AI 发展

尽管许多企业将利用人工智能的潜力作为优先事项，但开发和部署人工智能模型需要时间和精力。通常，必须克服将模型投入生产的挑战，
2 MIN READ
2024年 1月 24日

借助 NVIDIA AI 软件构建企业级 AI

在推出 ChatGPT 后，全球各地的企业开始意识到 AI 的优势和功能，并竞相将其应用到工作流程中。 随着这种采用的加速，
2 MIN READ
2024年 1月 16日

强大的场景文本检测和识别：简介

识别和识别自然场景和图像中的文本对于视频标题文本识别、检测车载摄像头的标牌、信息检索、场景理解、车牌识别以及识别产品文本等用例变得非常重要。
1 MIN READ
2024年 1月 16日

强大的场景文本检测和识别：实施

要使场景文本检测和识别适用于不规则文本或特定用例，您必须完全控制模型，以便根据用例和数据集执行增量学习或微调。请记住，此工作流是场景理解、
2 MIN READ
2024年 1月 16日

强大的场景文本检测和识别：推理优化

在本文中，我们将深入探讨推理优化过程，以在推理阶段提高机器学习模型的性能和效率。我们将讨论所采用的技术，例如推理计算图形简化、量化和降低精度。
3 MIN READ
2024年 1月 5日

借助 Metaflow 开发 ML 和 AI，并借助 NVIDIA Triton 推理服务器进行部署

将 ML 模型部署到生产环境的方法有很多。有时，模型每天运行一次，以更新数据库中的预测。有时，
3 MIN READ
2024年 1月 4日

借助 H2O.ai 和 NVIDIA 加速端到端工作流程的推理

数据科学家利用生成式 AI和预测分析构建新一代 AI 应用。在金融服务领域，AI 建模和推理可用于多种解决方案，包括用于投资分析的替代数据、
3 MIN READ
2023年 12月 18日

RAG 101：揭秘检索增强生成流程

大型语言模型 (LLM) 在理解和生成类似人类的响应方面具有前所未有的能力，这给世界留下了深刻的印象。
1 MIN READ
2023年 12月 18日

RAG 101：检索增强型生成问题

在设计和部署 RAG 工作流时，数据科学家、AI 工程师、MLOps 工程师和 IT 基础架构专业人员必须考虑各种因素：
2 MIN READ
2023年 12月 14日

借助 NVIDIA DeepStream 和 Edge Impulse 实现计算机视觉快速部署

基于 AI 的计算机视觉 (CV) 应用程序不断增加，对于从视频源中提取实时见解尤为重要。
4 MIN READ
2023年 12月 13日

借助 NVIDIA H100 Tensor Core GPU 和 NVIDIA TensorRT-LLM 实现出色的推理性能

出色的 AI 性能需要高效的并行计算架构、高效的工具堆栈和深度优化的算法。NVIDIA 发布了 NVIDIA TensorRT-LLM，
2 MIN READ
2023年 11月 17日

掌握 LLM 技术：推理优化

通过堆叠 Transformer 层来创建大型模型，可以提高准确性、实现少量学习功能，并且在各种语言任务中实现近乎人类的性能。
4 MIN READ
2023年 11月 15日

借助 NVIDIA AI on Azure 机器学习提升企业生成式 AI 应用开发速度

生成式 AI 正在彻底改变各行各业的组织利用数据来提高生产力、推进个性化客户互动并促进创新的方式。鉴于其巨大的价值，
2 MIN READ
2023年 10月 19日

现已公开发布！欢迎使用 NVIDIA TensorRT-LLM 优化大语言模型推理

NVIDIA 于 2023 年 10 月 19 日公开发布 TensorRT-LLM，
3 MIN READ