TensorRT
2024年 4月 2日
使用 NVIDIA TensorRT-LLM 调整和部署 LoRA LLM
大型语言模型 (LLM) 可以从大量文本中学习,并为各种任务和领域生成流畅、一致的文本,从而彻底改变自然语言处理 (NLP)。然而,
7 MIN READ
2024年 3月 19日
FP8:前沿精度与性能的新篇章
在深度学习和人工智能的快速发展背景下,尤其是大语言模型(Large Language Model, LLM)的蓬勃发展,
3 MIN READ
2024年 3月 18日
借助 NVIDIA NeMo Retriever,将企业数据转换为可行见解
在每个行业和每个工作职能部门,生成式 AI 正在激发组织内部的潜力,它将数据转化为知识,并使员工能够更高效地工作。
2 MIN READ
2024年 3月 7日
在 NVIDIA AI 推理平台上使用 Stable Diffusion XL 生成令人惊叹的图像
扩散模型正在各行各业中改变创意工作流程。这些模型通过采用降噪扩散技术,将随机噪声逐步塑造为 AI 生成的艺术,
4 MIN READ
2024年 3月 7日
NVIDIA TensorRT 通过 8 位预训练量化将 Stable Diffusion 的速度提升近 2 倍
在生成式 AI 的动态领域,扩散模型脱颖而出,成为使用文本提示生成高质量图像的功能强大的架构 .
3 MIN READ
2024年 2月 1日
借助 NVIDIA TensorRT-LLM 和 NVIDIA Triton 部署 AI 编码助手
大型语言模型 (LLM) 的出现革新了人工智能领域,为与数字世界的交互提供了全新的方式。尽管 LLM 通常能够提供良好的通用解决方案,
4 MIN READ
2024年 1月 29日
使用全卷积网络在 Transformer 模型中模拟注意力机制
在过去十年中,深度学习技术在计算机视觉 (CV) 任务中的应用大幅增加。卷积神经网络 (CNN) 一直是这场革命的基石,展示了卓越的性能,
3 MIN READ
2024年 1月 16日
强大的场景文本检测和识别:简介
识别和识别自然场景和图像中的文本对于视频标题文本识别、检测车载摄像头的标牌、信息检索、场景理解、车牌识别以及识别产品文本等用例变得非常重要。
1 MIN READ
2024年 1月 16日
强大的场景文本检测和识别:实施
要使场景文本检测和识别适用于不规则文本或特定用例,您必须完全控制模型,以便根据用例和数据集执行增量学习或微调。请记住,此工作流是场景理解、
2 MIN READ
2024年 1月 16日
强大的场景文本检测和识别:推理优化
在本文中,我们将深入探讨推理优化过程,以在推理阶段提高机器学习模型的性能和效率。我们将讨论所采用的技术,例如推理计算图形简化、量化和降低精度。
3 MIN READ
2024年 1月 15日
使用 NVIDIA TensorRT-LLM 支持 CodeFuse-CodeLlama-34B 上的 int4 量化和推理优化实践
Codefuse(https://github.com/codefuse-ai)是由蚂蚁集团开发的代码语言大模型,
3 MIN READ
2024年 1月 8日
借助 NVIDIA RTX 系统为 Windows PC 上的 LLM 应用程序提供强效助力
大型语言模型 (LLM) 正在从根本上改变我们与计算机的交互方式。从互联网搜索到办公效率工具,这些模型正被整合到各种应用中。
2 MIN READ
2024年 1月 8日
使用 NVIDIA TensorRT 加速的全新 Stable Diffusion 模型
在 CES 上, NVIDIA 分享道,SDXL Turbo、LCM-LoRA 和 Stable Video Diffusion 均由…
1 MIN READ
2023年 12月 18日
RAG 101:揭秘检索增强生成流程
大型语言模型 (LLM) 在理解和生成类似人类的响应方面具有前所未有的能力,这给世界留下了深刻的印象。
1 MIN READ
2023年 12月 18日
RAG 101:检索增强型生成问题
在设计和部署 RAG 工作流时,数据科学家、AI 工程师、MLOps 工程师和 IT 基础架构专业人员必须考虑各种因素:
2 MIN READ
2023年 4月 5日
通过 AI 的全栈优化在 MLPerf 推理 v3.0 中创下新纪录
目前最令人兴奋的计算应用程序依赖于在复杂的人工智能模型上进行训练和运行推理,通常是在要求苛刻的实时部署场景中。需要高性能、
5 MIN READ