NVIDIA Nemotron 3 Ultra, 장기 실행 에이전트를 위한 더 빠르고 효율적인 추론 지원

단순한 단일 턴 챗봇이 복잡한 워크플로우를 완수하기 위해 추론하고, 맥락을 유지하고, 도구를 사용하며 여러 턴에 걸쳐 효율적으로 실행되는 장기 실행 에이전트로 진화하고 있습니다.

그러나 이러한 멀티 에이전트 워크플로우는 토큰 수를 빠르게 증가시킵니다. 에이전트는 계획을 세우고, 도구를 호출하고, 서브 에이전트를 실행하고, 정보를 수신한 뒤 기록, 출력, 추론 단계를 지속적으로 모델에 다시 전달합니다. 작업이 길어질수록 이러한 지속적인 통신은 비용과 목표 이탈 위험을 높입니다.

개발자들은 모델 시스템을 활용해 이를 해결할 수 있습니다. 오케스트레이션과 복잡한 계획에는 프론티어 추론 모델을, 대용량 실행, 검증, 도구 호출에는 효율적인 모델을 사용하는 방식입니다.

NVIDIA는 장기 실행 에이전트가 작업을 더 빠르게 완수하면서 비용을 절감할 수 있도록 설계된 오픈 모델, NVIDIA Nemotron 3 Ultra를 출시합니다.

에이전트 오케스트레이션을 위한 Nemotron 3 Ultra

Nemotron 3 Ultra는 550B 파라미터의 Mixture-of-Experts 모델로, 활성 파라미터는 55B입니다. 에이전트 시스템에서의 프론티어 추론과 오케스트레이션을 위해 설계되었습니다.

어떤 에이전트 워크플로우에서든 대부분의 호출은 일상적이지만, 일부 핵심적인 하위 집합은 더 깊은 추론을 요구합니다. Nemotron 3 Ultra는 코딩 세션 전반에 걸친 아키텍처 결정 유지, 수백 개의 연구 출처에서 모순된 증거 종합, 수천 가지 제약 조건에 걸친 칩 설계 검증 등 어려운 호출을 처리하도록 설계되었습니다.

표 1. Nemotron 3 Ultra는 더 작은 모델에서 프론티어 수준의 정확도를 제공합니다

Nemotron 3 Ultra는 빠르기도 합니다. 동급 다른 오픈 모델 대비 5배 높은 처리량을 달성하여, 장기 실행 에이전트가 작업을 더 빠르고 효율적으로 완수할 수 있습니다.

그림 2. Nemotron 3 Ultra는 Artificial Analysis Intelligence Index 리더보드에서 선도적인 정확도를 제공하면서 5배 빠른 추론을 달성합니다. Nemotron 3 Ultra의 출력 속도는 Blackbox 엔드포인트를 사용해 측정되었습니다

Nemotron 3 Ultra는 효율성도 갖추고 있습니다. SWE-bench와 Terminal bench 2.0 실험에서, 동급 모델 대비 총 토큰 수와 턴당 토큰 수를 더 적게 사용하며 벤치마크를 완료했습니다. 이를 통해 에이전트 작업 비용을 최대 30% 절감합니다.

그림 3. Nemotron 3 Ultra는 작업 완료 비용을 30% 절감합니다

Nemotron 3 Ultra를 이끄는 혁신 기술

고용량 추론 모델의 일반적인 효율성-정확도 트레이드오프를 완화하기 위해, Nemotron 모델은 아키텍처 혁신을 도입했습니다:

에이전트 하네스를 위한 포스트 트레이닝
Nemotron Ultra는 주요 하네스 전반에서 일관된 정확도를 제공하도록 포스트 트레이닝되었습니다. 모델은 NVIDIA NeMo RL 및 Gym 오픈 라이브러리를 사용해 세계에서 가장 방대한 장기 실행, 작업 해결, 도구 사용 데이터셋으로 학습되었습니다.

Ultra는 단일 턴 채팅이 아닌 에이전트 주도의 오픈 하네스에 최적화되어 있으며, 에이전트가 계획을 수립하고, 도구를 호출하고, 관찰 결과를 읽고, 서브 에이전트에 위임하고, 출력을 검증하고, 여러 턴에 걸쳐 오류에서 복구하는 워크플로우 내에서 작동하도록 설계되었습니다.

하이브리드 Mamba 트랜스포머
Mamba 레이어는 장문 컨텍스트 워크로드의 시퀀스 효율성을 개선하고, 트랜스포머 레이어는 에이전트가 대규모 컨텍스트 윈도우에서 특정 사실을 검색해야 할 때 정밀한 리콜을 보존합니다.

NVFP4 정밀도
동일한 NVFP4 체크포인트가 NVIDIA Hopper, NVIDIA Blackwell, Ampere GPU에서 실행됩니다. 개발자들은 특수 NVFP4 양자화 커널 덕분에 모든 NVIDIA GPU 아키텍처에서 하나의 체크포인트를 사용할 수 있습니다. NVFP4는 또한 Blackwell에서 BF16 대비 동일한 상호작용성으로 GPU당 최대 5배 높은 처리량을 제공합니다.

LatentMoE
LatentMoE는 더 효율적인 전문가 라우팅을 지원하여, 모델이 추론, 코드 생성, 도구 호출, 도메인별 로직에 걸친 워크플로우를 처리할 수 있도록 합니다.

멀티 토큰 예측
멀티 토큰 예측(MTP)은 단일 순전파에서 여러 미래 토큰을 예측함으로써 생성 시간을 단축하고, 장문 출력 및 멀티 턴 워크플로우의 처리량을 향상시킵니다.

Nemotron 3 Ultra의 Multi-Teacher On-Policy Distillation

Multi-Teacher On-Policy Distillation(MOPD)은 Ultra가 학습 중에 자체 시도를 생성하면서 여러 전문화된 교사 모델로부터 학습하는 훈련 방법입니다. 각각 도메인별 학습 파이프라인을 갖춘 10개 이상의 특화된 교사 모델이 훈련됩니다. 각 교사는 자신의 전문 분야에서 모델을 채점하여 Ultra가 도메인 전반에 걸쳐 추론을 더 효율적으로 개선할 수 있도록 합니다.

그림 4. MOPD의 시각적 가이드 및 Nemotron 3 Ultra에 사용된 구체적인 플로우

MOPD 중에 학생 모델은 도메인 전반에 걸쳐 롤아웃을 생성하고 해당 교사 모델로부터 밀도 높은 보상 신호를 받습니다. 효율성을 극대화하기 위해 MOPD는 비동기적으로 실행되며, 학생 롤아웃 생성, 교사 채점, 학생 최적화가 완전히 파이프라인화됩니다.

MOPD는 반복적이기도 합니다. MOPD로 훈련된 체크포인트를 생성한 후, 업데이트된 학생 모델에서 새로운 교사 훈련 라운드가 초기화되고 개선 사항이 다음 MOPD 단계에 병합됩니다.

학생과 교사 간의 이러한 공동 진화는 지속적인 역량 향상과 도메인 전반에 걸친 점진적으로 강력한 특화를 가능하게 합니다. 사용자들은 Ultra 모델을 훈련한 라이브러리인 NeMo-RL을 통해 MOPD 레시피를 시험해볼 수 있습니다.

더 강력한 에이전트 추론을 위한 학습 데이터

모든 Nemotron 오픈 모델 출시와 마찬가지로, 학습 데이터 파이프라인의 많은 부분을 최대한 허용적으로 공개합니다. 기업 및 소버린 AI 개발의 파트너들에게 학습 데이터의 투명성과 출처는 역량만큼이나 중요합니다.

도메인별 사전 학습 데이터

10T 토큰 사전 학습 기반 위에 Nemotron 3 Ultra는 세 가지 고가치 도메인 공백을 타겟으로 2,120억 개의 새로운 토큰을 추가합니다:

• 40억 토큰의 합성 법률 데이터로, 프록시 LegalBench 평균을 64.6%에서 74.7%로 향상
• 350억 토큰의 위키 기반 합성 데이터로, 프록시 SimpleQA를 40.2%에서 50.2%로 향상
• 2025년 9월 30일까지의 1,730억 개의 갱신된 GitHub 토큰

포스트 트레이닝 데이터 및 RL 환경

이번 출시에서는 1,000만 개의 새로운 SFT 샘플, 여러 도메인에 걸친 100만 개의 새로운 RL 작업, 15개의 순수 신규 RL 환경도 공개합니다. 이로써 Nemotron 오픈 데이터 누적 총계는 5,000만 SFT 샘플, 200만 RL 작업, 55개 RL 환경에 달합니다.

그 결과 Pi, OpenHands, Hermes, OpenCode, Mini SWE Agent에서 SWEBench Verified 점수 65%~70.4%를 달성했으며, 어떤 프레임워크를 배포하든 일관된 성능을 보입니다.

도메인에 맞게 파인튜닝하기

Nemotron 3 Ultra는 NVIDIA NeMo 라이브러리를 사용하여 LoRA, SFT, 강화 학습으로 파인튜닝할 수 있습니다. 개발자들은 다음 레시피로 시작할 수 있습니다.

Nemotron 3 Ultra 레시피:

• SFT LoRA: NeMo Automodel (H100 레시피, GB200 레시피)
• Full SFT: NeMo Megatron Bridge 레시피
• 강화 학습: NeMo RL GRPO 레시피, GRPO LoRA 레시피, MOPD 레시피

배포

KV 인식 라우팅, 멀티 토큰 예측(MTP), 분리된 프리필/디코드를 위해 Dynamo 레시피를 사용해 Nemotron Ultra를 배포하세요.

실제 작동 확인하기

이 튜토리얼은 build.nvidia.com에서 Nemotron 3 Ultra로 구동되는 Hermes Agent를 사용해 자율 리서치 플로우를 구동하고 실행하는 방법을 보여줍니다.

영상 1. Hermes Agent와 Nemotron 3 Ultra로 자율 어시스턴트를 구축하는 튜토리얼 워크스루

NVIDIA NemoClaw 및 NVIDIA OpenShell로 더 안전하게 에이전트 실행하기

Nemotron 모델은 주요 오픈 에이전트 프레임워크와 통합됩니다. 안전하고 항상 실행 중인 에이전트 시스템을 구축하려면 레퍼런스 스택을 이해하는 것이 중요합니다:

• Hermes Agent 및 OpenClaw: 멀티 턴 워크플로우를 위한 오케스트레이션 루프, 메모리, 도구를 제공하는 인기 있는 에이전트 하네스입니다. Hermes Agent는 이제 공식적으로 출시되어 Nemotron과 함께 완전히 지원됩니다.
• NVIDIA OpenShell: 현재 얼리 프리뷰로 제공되는 OpenShell은 자율 에이전트와 에이전트가 생성한 코드가 실행되는 보안 런타임 환경(NVIDIA Agent Toolkit의 일부)입니다.
• NVIDIA NemoClaw: 환경을 하나로 묶는 오픈소스 블루프린트입니다. 단 하나의 명령으로 NemoClaw는 OpenShell 런타임을 설치하여 Nemotron과 같은 오픈소스 모델과 함께 Hermes Agent 같은 자율 에이전트를 더 안전하게 실행하는 환경을 제공합니다.

더 안전하고 음성 지원이 가능한 에이전트 구축하기

두 가지 새로운 Nemotron 모델도 출시됩니다:

Nemotron 3.5 Content Safety
더 안전한 엔터프라이즈 AI를 구축하는 팀을 위해, Nemotron 3.5 Content Safety는 텍스트, 이미지, 복합 입력에서 안전하지 않거나 허용되지 않거나 정책을 위반하는 콘텐츠를 분류하는 효율적인 오픈 4B 가드레일 모델입니다.

23가지 안전 카테고리와 12개 언어를 포괄하며, 추론 시 가드레일, LLM 안전 테스트 및 평가를 위한 판정자, 또는 동반 학습 데이터셋과 함께 더 안전한 동작을 위한 모델 포스트 트레이닝에 사용할 수 있습니다. 커스텀 정책 지원과 추론 추적은 기업이 안전 결정을 도메인별 규칙에 맞게 조정하고, 분류를 감사하며, 글로벌 AI 워크플로우 전반에 안전 제어를 배포하는 데 도움을 줍니다. 자세한 내용은 Hugging Face 포스트를 참고하세요.

Nemotron 3.5 ASR
음성 네이티브 에이전트를 위한 Nemotron 3.5 ASR은 영문 전작 Nemotron 3 ASR과 동일한 캐시 인식 스트리밍 아키텍처를 사용해 오디오 델타를 즉각적으로 처리합니다. 불필요한 버퍼링된 연산을 제거하여 에이전트 스웜을 위한 자연스럽고 실시간적인 음성 오케스트레이션에서 100ms 미만의 지연을 보장합니다.

영문 모델은 2,000만 명 이상의 개발자가 사용하는 Microsoft GitHub Copilot CLI의 음성 입력 기능을 구동하는 등 개발자들의 강한 채택을 보였습니다. 50개 이상의 온디바이스 ASR 구성에 대한 독립적인 벤치마크에서 Nemotron 3 ASR은 리소스가 제한된 하드웨어에서 실시간 영문 스트리밍의 가장 강력한 후보로 선정되었습니다. 이제 동일한 아키텍처가 단일 체크포인트에서 40개 이상의 언어를 지원하며 다국어로 확장됩니다.

더 광범위한 채택을 위한 업데이트된 오픈 라이선스

Nemotron 모델 출시는 오픈 AI 모델 배포를 위해 특별히 제작된 Linux Foundation의 허용적 라이선스인 OpenMDW-1.1로 이동합니다. OpenMDW는 아키텍처, 파라미터, 문서, 소프트웨어 및 기타 관련 아티팩트를 포함한 모델 자료 전체를 단일 프레임워크 하에 다루도록 설계되었습니다.

이를 통해 개발자와 기업은 Nemotron 모델을 사용, 수정, 재배포, 배포하는 데 있어 더 명확한 조건을 갖게 되며, 오픈 모델의 평가와 채택을 더디게 만드는 라이선싱 모호성을 줄일 수 있습니다.

지금 바로 구축 시작하기

Nemotron 3 Ultra는 가중치, 데이터, 레시피를 포함해 완전히 오픈되어 있어 개발자들이 도메인별 워크플로우에 모델을 적용하고 어디서든 배포할 수 있습니다. 주요 추론 플랫폼 전반에서 이용 가능하며, NVIDIA NIM 마이크로서비스로 패키지화되어 어디서나 실행할 수 있습니다.

Pro 구독 또는 API를 통해 Perplexity, OpenRouter, Anaconda, 또는 build.nvidia.com에서 사용해보세요.

Hugging Face에서 가중치를 다운로드하거나, NVIDIA NIM을 통해 최적화된 인스턴스를 시작하거나, 쿡북으로 시작해 몇 분 안에 실행할 수 있습니다.

Nemotron 3 Ultra는 파트너 생태계를 통해 이용 가능합니다:

• 모델 커스터마이제이션 서비스: Applied Compute, Prime Intellect, Unsloth
• 추론 소프트웨어: SGLang, TRT-LLM, vLLM
• 클라우드 서비스 공급업체: Amazon SageMaker JumpStart, Google Cloud, Microsoft Foundry, Oracle Cloud
• 추론 서비스 공급업체: Baseten, DeepInfra, Eigen AI, fal (ASR), Fireworks AI, FriendliAI, Modal, ModelScope, Ollama cloud, Simplismart
• AI 클라우드 및 서비스: Bitdeer AI, CoreWeave, Dell Enterprise Hub, Crusoe, DigitalOcean, GMI Cloud, Lightning AI, Nebius Token Factory, Together AI, Vultr

에이전트 하네스 시작 안내는 GitHub 저장소를 확인하세요. BlackBox AI, Cline, CrewAI, Factory AI, Hermes Agent, Kilo Code, LangChain Deep Agents, OpenClaw, OpenCode, OpenHands, Pi를 포함합니다.

전체 기술 세부 사항은 Nemotron 3 Ultra 기술 보고서를 읽어보세요.

NVIDIA Nemotron을 구독하고 NVIDIA 뉴스를 구독하고 NVIDIA AI를 LinkedIn, X, Discord, YouTube에서 팔로우하여 최신 정보를 받아보세요.

시작을 위한 리소스를 보려면 Nemotron 개발자 페이지를 방문하세요. Hugging Face에서 오픈 Nemotron 모델과 데이터셋을, build.nvidia.com에서 블루프린트를 탐색해보세요.

Nemotron 라이브스트림, 튜토리얼, NVIDIA 포럼, Discord에서 개발자 커뮤니티와 소통하세요.