LLM

2025年 10月 15日

通过 NVIDIA Jetson AGX Thor 实现 7 倍生成式 AI 性能，解锁更快速、更智能的边缘模型

NVIDIA 软件生态系统的一大显著优势在于其持续优化的承诺。今年 8 月，NVIDIA 发布了 Jetson AGX Thor，
2 MIN READ
2025年 10月 13日

使用 NVIDIA Dynamo 部署 72B 模型提升 PD 分离性能

在生产环境部署大模型推理服务时，技术团队往往会遇到诸多挑战，例如缺乏成熟的 PD 分离方案、自动扩缩容机制不够灵活、缺乏动态路由，
2 MIN READ
2025年 10月 11日

探索在大模型训练中使用 Megatron-Core 训练框架提高显存使用效率

在大模型训练中，显存（GPU Memory）始终是最稀缺的资源之一。随着模型规模迈入百亿、千亿甚至万亿参数级别，如何在有限显存中“塞下”…
3 MIN READ
2025年 10月 10日

使用 NVIDIA Nemotron 构建日志分析多智能体自校正 RAG 系统

日志是现代系统的核心所在。然而，随着应用规模不断扩大，日志往往演变成一片冗长繁杂的文本海洋，充斥着重复与冗余信息，令人不堪重负。
2 MIN READ
2025年 10月 9日

从助手到对手：利用代理式 AI 开发者工具

越来越多的开发者开始采用支持人工智能的编码工具，例如 Cursor、OpenAI Codex、Claude Code 和 GitHub…
3 MIN READ
2025年 10月 7日

使用 NVIDIA TensorRT Model Optimizer 剪枝和蒸 LLM

大语言模型（LLM）在自然语言处理（NLP）任务，如代码生成、推理和数学计算等方面，展现出卓越的性能，树立了新的标杆。然而，
3 MIN READ
2025年 9月 29日

利用 NVIDIA Run:ai 和 NVIDIA Dynamo 进行快速高效 LLM 推理的智能多节点调度

大语言模型的复杂性呈指数级增长，带来了诸多挑战，例如模型规模超出单个 GPU 的承载能力、对高吞吐量与低延迟工作负载的需求，
3 MIN READ
2025年 9月 23日

使用 NVIDIA Nemotron 构建检索增强生成 (RAG) 智能体

与基于 LLM 的传统系统受限于其训练数据不同，检索增强生成 (RAG) 通过整合相关的外部信息来提升文本生成效果。
5 MIN READ
2025年 9月 23日

借助生成式 AI 通过分子合成途径进行推理

无论是制药、化学还是材料应用，分子设计中反复出现的挑战在于构建可合成的分子。合成性评估通常需要绘制分子的合成路径：
2 MIN READ
2025年 9月 18日

如何使用 NVIDIA Dynamo 减少 KV 缓存瓶颈

随着 AI 模型变得更大、更复杂，推理，即模型生成响应的过程，正成为一项重大挑战。像 GPT-OSS 和 DeepSeek-R1…
4 MIN READ
2025年 9月 16日

利用 NVIDIA Run:ai 模型流技术降低大型语言模型推理的冷启动延迟

部署大语言模型（LLM）在优化推理效率方面带来了显著挑战。其中，冷启动延迟——即模型加载到 GPU 显存所需的时间较长…
5 MIN READ
2025年 9月 11日

量化感知训练如何实现低精度恢复

训练 AI 模型后，可采用多种压缩技术来优化模型的部署。其中较为常见的是后训练量化（PTQ），该方法通过数值缩放技术，
3 MIN READ
2025年 9月 11日

使用 AI 击杀链框架对 AI 驱动应用进行攻击建模

AI 赋能的应用带来了传统安全模型难以全面覆盖的新攻击面，尤其是当这些代理式系统具备自主性时。应对持续演变的攻击面，其核心原则十分明确：
2 MIN READ
2025年 9月 10日

使用 NVIDIA NIM Operator 3.0.0 部署可扩展的 AI 推理

AI 模型、推理引擎后端以及分布式推理框架在架构、复杂性和规模上持续演进。面对快速的技术变革，
3 MIN READ
2025年 9月 9日

NVIDIA Rubin CPX 加速百万级以上 token 上下文工作负载的推理性能和效率

推理正成为人工智能复杂性的前沿领域。现代模型正逐步演变为具备多步推理能力、持久化记忆和长时程上下文理解的代理式系统，使其能够胜任软件开发、
2 MIN READ
2025年 9月 9日

如何利用跨区域 (Scale-Across) 网络将分布式数据中心连接成大型 AI 工厂

AI 技术日益复杂，训练与推理领域的新进展对数据中心提出了更高的要求。尽管数据中心的功能正在迅速扩展，但其基础设施受限于基本的物理条件，
1 MIN READ