LLM

2025年 2月 11日
NVIDIA DGX 云推出即用型模板,更好地评估 AI 平台性能
在快速发展的 AI 系统和工作负载环境中,实现出色的模型训练性能远远超出芯片速度。这需要对整个堆栈进行全面评估,从计算到网络,再到模型框架。
2 MIN READ

2025年 2月 5日
利用特定领域的微调和 NVIDIA NIM 提高翻译质量
翻译在助力公司实现跨国业务扩展方面发挥着至关重要的作用,在语调、准确性和技术术语处理方面的要求差异很大。
3 MIN READ

2025年 2月 4日
借助 NVIDIA Spectrum-X 网络平台和合作伙伴提升 AI 存储速度达48%
AI 工厂依靠的不仅仅是计算结构。连接 GPU 的东西向网络对于 AI 应用程序性能至关重要,而连接高速存储阵列的存储结构也同样重要。
1 MIN READ

2025年 1月 24日
动态内存压缩技术
尽管大语言模型(LLMs)作为通用 AI 工具取得了成功,但其对计算资源的高需求使其在许多真实场景中的部署具有挑战性。
3 MIN READ

2025年 1月 22日
在 Kubernetes 上实现 NVIDIA NIM 微服务的水平自动缩放
NVIDIA NIM 微服务是可部署在 Kubernetes 上的模型推理容器。在生产环境中,
3 MIN READ

2025年 1月 16日
如何使用 NVIDIA NeMo Guardrails 为客户服务保护 AI 智能体
AI 代理为 企业扩展和提升客户服务以及支持交互提供了重要机会。这些客服人员可自动处理日常查询并缩短响应时间,从而提高效率和客户满意度,
5 MIN READ

2025年 1月 16日
NVIDIA JetPack 6.2 为 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 模块引入超级模式
NVIDIA Jetson Orin Nano 超级开发者套件 的推出为小型边缘设备开启了 生成式 AI 的新时代。
7 MIN READ

2025年 1月 16日
在 NVIDIA TensorRT-LLM 中引入新型 KV 缓存重用优化策略
语言模型通过预测下一个令牌 (给定所有先前的令牌,包括输入文本令牌) 来生成文本。在 LLM 服务中,先前令牌的键和值元素用作历史语境,
2 MIN READ

2025年 1月 9日
宣布推出 Nemotron-CC:用于 LLM 预训练的万亿级英语语言数据集
NVIDIA 很高兴地宣布发布 Nemotron-CC,这是一种包含 6.3 万亿个令牌的 英语语言 Common Crawl 数据集 ,
1 MIN READ

2024年 12月 24日
借助 NVIDIA 全栈解决方案提升 AI 推理性能
AI 驱动的应用的爆炸式发展对开发者提出了前所未有的要求,他们必须在提供先进的性能与管理运营复杂性和成本以及 AI 基础设施之间取得平衡。
2 MIN READ

2024年 12月 19日
使用 NVIDIA NeMo Curator 新分类器模型增强您的训练数据
分类器模型专门用于将数据分类为预定义的组或类,在优化数据处理流程以微调和预训练生成式 AI 模型方面发挥着关键作用。
3 MIN READ

2024年 12月 18日
AEC 检索增强生成技术指南
大语言模型 (LLMs) 正在迅速改变业务格局,为自然语言处理 (NLP)、内容生成和数据分析提供新功能。
3 MIN READ

2024年 12月 18日
NVIDIA TensorRT-LLM 现支持 Recurrent Drafting,实现 LLM 推理优化
Recurrent Drafting (简称 ReDrafter) 是苹果公司为大语言模型 (LLM) 推理开发并开源的一种新型推测解码技术,
2 MIN READ

2024年 12月 17日
微调小型语言模型以提高代码审查准确性
生成式 AI 通过 推动众多 应用的创新和提高效率,正在改变企业。然而,采用大型 基础模型 会带来一些挑战,包括高成本、慢性能、
5 MIN READ

2024年 12月 17日
NVIDIA Jetson Orin Nano 开发者套件得到“超级”提升
生成式 AI 格局正在迅速发展,新的 大语言模型 (LLMs)、视觉语言模型 (VLMs) 和视觉语言动作 (VLAs) 模型每天都在涌现。
5 MIN READ

2024年 12月 17日
借助 NVIDIA TensorRT-LLM 预测解码,将 Llama 3.3 的推理吞吐量提升 3 倍
随着近期新增的 Llama 3.3 70B (一种纯文本指令调整模型),Meta 的开放 大语言模型 (LLMs) 集合将继续增长。
4 MIN READ