NVIDIA Nemotron 3.5 Super VL, 멀티모달 추론으로 특화 에이전트 구동

상시 가동 에이전트가 더 길고 복잡한 기업 워크플로를 맡고 있습니다. 요청 하나가 문서 읽기, 여러 소스에 걸친 정보 확인, 회사 정책 준수, 여러 도구 호출을 모두 포함하기도 합니다.

NVIDIA Nemotron 3.5 Super VL은 이러한 특화 워크플로를 위한 개방형 맞춤화 가능 멀티모달 모델입니다. 120B 파라미터의 전문가 혼합 구조인 MoE 아키텍처가 토큰당 12B 파라미터를 활성화하여 모델 용량과 추론 효율의 균형을 맞춥니다.

이 모델은 단일 GPU에서 같은 크기 범주의 다른 개방형 모델보다 에이전트 과제의 처리량이 최대 5배 높습니다.

이 모델은 추론, 지시 수행, 도구 사용 능력에 텍스트, 이미지, 문서, 영상 이해를 결합했습니다. 이 기능들을 하나의 모델로 통합했으므로, 텍스트 모델과 비전-언어 모델을 따로 배포하거나 둘 사이에 과제 컨텍스트를 넘기지 않고도 텍스트 과제와 시각 과제를 처리할 수 있습니다.

개발자는 자체 데이터, 도구, 정책, 워크플로로 NVIDIA NeMo를 이용해 Nemotron 3.5 Super VL을 포스트 트레이닝할 수 있습니다. 이 글에서는 이 기반으로 특화 엔터프라이즈 에이전트를 구축하는 방법과, 모델을 뒷받침하는 학습 및 추론 기법을 설명합니다.

특화 에이전트에 Nemotron 3.5 Super VL을 쓰는 이유

에이전트는 맡은 과제와 운영 환경을 모두 이해해야 합니다. 고객 서비스 에이전트는 회사의 반품 정책을 따라야 하고, 리서치 에이전트는 여러 소스의 근거를 연결하며, 문서 에이전트는 표, 차트, 페이지 레이아웃을 해석합니다.

Nemotron 3.5 Super VL은 다음과 같은 다양한 에이전트 워크플로에서 추론과 시각 이해를 결합합니다.

• 코딩: 코드를 테스트하고 검증하며, 오류를 분석해 수정안을 제시합니다.
• 웹 리서치: 여러 웹사이트를 검색하고 정보를 연결하며 답변을 검증합니다.
• 문서 인텔리전스: 표, 차트, 페이지 레이아웃에서 정보를 추출해 요약과 보고서를 작성합니다.
• 사이버 보안: 보안 취약점을 식별하고 위협을 선별하여 조치 우선순위를 정합니다.
• 영상 이해: 검색, 콘텐츠 검토, 사고 분석에 쓸 정보를 추출합니다.

여러 모델로 구성한 시스템에서 Nemotron 3.5 Super VL은 추론, 도구 사용, 텍스트와 시각 이해가 함께 필요한 특화된 다단계 작업을 맡습니다. NVIDIA Nemotron 3.5 Lightning 같은 소형 모델은 대량의 텍스트 작업을 처리하고, NVIDIA Nemotron 3 Ultra 같은 프런티어 모델은 복잡한 계획과 오케스트레이션을 담당합니다.

도메인 데이터, 도구, 정책에 맞춘 Nemotron 3.5 Super VL 맞춤화

특화 에이전트는 조직이 일하는 방식을 익혀야 합니다. 도메인 용어, 도구 인터페이스, 운영 절차, 정책 요구 사항이 에이전트가 과제를 성공적으로 완수하는 방식을 좌우합니다.

사이버 보안과 금융, 헬스케어 등 여러 산업의 조직이 Nemotron 3.5 Super VL을 포스트 트레이닝하여, 프로덕션 워크플로 전반에서 프런티어 모델보다 높은 정확도와 효율을 달성하고 있습니다. 사례는 다음과 같습니다.

• AI 데이터 및 기술 제공업체인 Scale AI는 미디어 엔터테인먼트 기업 Skydance Corporation의 자동 벤더 크레딧 처리를 위해 Nemotron 3.5 Super VL을 포스트 트레이닝했습니다. 이 워크로드의 추론 비용은 40배, 지연 시간은 5배 줄어들 전망입니다.
• 금융 운영 플랫폼 제공업체인 Ramp는 영수증 이미지를 가맹점 정보, 날짜, 결제 데이터가 담긴 구조화된 JSON으로 변환하고 있습니다. 처리량이 최대 50% 높아지고 지연 시간이 10배 낮아질 것으로 예상합니다.
• AI21과 Alice는 위협 인텔리전스와 취약점 분석을 위해 Nemotron 3.5 Super VL을 포스트 트레이닝하여 정확도를 41% 높였습니다.

이러한 요구 사항에 맞추기 위해 NVIDIA NeMo 오픈 라이브러리로 모델을 포스트 트레이닝할 수 있습니다. 도메인에 특화된 동작을 학습시키려면 NVIDIA NeMo AutoModel로 지도 파인튜닝인 SFT와 저랭크 적응인 LoRA를 적용합니다. 조직의 워크플로를 반영한 에이전트 환경에서는 강화 학습인 RL로 성능을 높일 수 있습니다.

NVIDIA는 Nemotron 3.5 Super VL과 함께 Hugging Face에 오픈 데이터셋을 공개합니다. 에이전트 도구 사용 및 대화 데이터, 금융 추론 및 도구 호출 데이터셋, 지시 수행 및 채팅 데이터, 긴 컨텍스트 변환 및 번역 데이터, 공정성 데이터, 40개의 비전-언어 데이터셋이 포함됩니다. 이 데이터셋은 SFT와 RL에서 자체 데이터를 보완하는 데 쓸 수 있습니다.

멀티모달 데이터는 차트 질의응답과 긴 문서 이해를 다루는 NeMo Data Designer 리소스에서 시작하십시오. RL과 환경 기반 평가에는 NVIDIA NeMo RL과 NVIDIA NeMo Gym을 활용해 보십시오.

조직은 인프라와 데이터 요구 사항에 맞춰 지원되는 로컬, 데이터센터, 클라우드 환경에서 이 모델의 오픈 웨이트를 조정하고 배포할 수 있습니다. 맞춤화 리소스는 GitHub의 Nemotron 3.5 Super VL 사용 쿡북을 참고하십시오.

하나의 워크플로에서 텍스트와 시각 이해 결합

Nemotron 3.5 Super VL은 텍스트, 이미지, 문서, 영상 이해에 추론과 지시 수행 능력을 결합하여, 이러한 입력 전반에 대한 질문에 답합니다.

시각 학습은 차트, 표, 광학 문자 인식인 OCR, 여러 페이지로 된 문서, 영상 이해를 아우릅니다. 2단계 SFT 파이프라인으로 언어 구성 요소와 비전 구성 요소를 학습하며, 시각적 근거를 추론, 채팅, 안전성, 긴 컨텍스트 데이터, 에이전트 궤적과 결합합니다.

문서 인텔리전스에서는 같은 모델이 차트를 해석하고, 문서의 다른 곳에 있는 표와 연결하여 둘을 함께 요약할 수 있습니다. 개발자는 자체 문서와 평가 기준에 맞춰 워크플로를 조정할 수 있습니다.

NeMo Data Designer로 생성한 다양한 학습 데이터 덕분에 모델이 복잡한 차트를 더 잘 이해하게 되었습니다. 차트 추론 벤치마크인 CharXiv에서 이 모델은 80.8%를 기록해 Nemotron 3 Nano Omni의 63%를 웃돌았습니다. Python 코드 해석을 함께 사용하면 84%에 도달했습니다. 접근 방식과 얻은 교훈은 차트 이해 심층 분석 글과 오픈소스 차트 질의응답 파이프라인에서 확인하십시오.

이 모델은 Nemotron Coalition 소속 조직의 지원과 전문성을 바탕으로 개발했습니다. 예를 들어 Perplexity의 고품질 데이터셋은 모델의 미드 트레이닝을 개선하고 간소화하는 데 도움이 되었습니다. Prime Intellect의 환경 덕분에 더 나은 티처 모델을 구축할 수 있었습니다.

Nemotron 3.5 Super VL은 OCRBench v2 리더보드의 상위권 개방형 모델이기도 합니다.

에이전트 과제 전반의 정확도와 효율

Nemotron 3.5 Super VL의 평가는 Hermes, LangChain, OpenClaw, OpenCode, Pi, Codex, Claude에 걸쳐 진행했습니다. 에이전트 하니스 제공업체는 코딩 과제 외에도 자체 평가로 폭넓은 에이전트 과제를 테스트합니다. Hermes Bench와 LangChain 행동 평가에서 Nemotron 3.5 Super VL은 Nemotron 3 Ultra보다 높은 점수를 받았습니다.

상시 가동 에이전트에서는 효율이 배포 환경이 완료할 수 있는 작업량을 좌우합니다. 처리량, 토큰 사용량, 도구 호출 횟수, 올바른 결과에 이르기까지 필요한 단계 수가 모두 과제 완료 시간에 영향을 줍니다.

이 모델은 NVIDIA DGX Spark에서 로컬로 실행하도록 최적화하기도 했습니다. EXO Labs의 독립 평가에서 Nemotron 3.5 Super VL은 정확도와 과제 완료 시간 측면에서 파레토 프런티어에 올랐습니다.

Nemotron 3.5 Super VL의 내부 구조

이 모델은 탄탄한 기반 위에 하이브리드 아키텍처, 추측 디코딩, 컨텍스트 재사용, 혼합 정밀도를 적용하여 반복되는 에이전트 호출에서 추론 연산량을 줄입니다.

강력한 베이스 모델 구축

Nemotron 3.5 Super VL은 Nemotron 3 Ultra에서 증류했습니다. Ultra의 코딩 능력과 증류에 사용한 SkewReverse 손실이 코딩 정확도 향상에 기여했습니다.

포스트 트레이닝에서는 멀티 티처 온폴리시 증류인 MOPD가 텍스트와 비전 전반의 특화 티처 모델이 주는 지침을 결합합니다. 모델이 응답을 생성하면, 티처 모델이 영상 추론과 추적, 비전 도구 사용, 정렬 측면에서 이를 평가합니다.

에이전트 행동, 코드 리포지토리, 소프트웨어 엔지니어링 과제의 예시로 추가 학습하자 에이전트 과제 성능이 향상되었습니다. Nemotron 3.5 Super VL은 여러 평가 설정에서 SWE-bench와 Terminal-Bench 모두 Nemotron 3 Super를 앞섭니다.

고품질 자연 데이터와 합성 데이터로 지속 사전 학습을 진행하여 인도 언어 역량이 개선되었고, 포스트 트레이닝 후 전체 점수도 높아졌습니다. 이 단계에서는 Nemotron-pretraining-Indic-v1의 12개 언어 하위 집합과 자연 인도 언어 텍스트에서 가져온 10B 토큰의 인도 언어 데이터를 추가했습니다.

NVIDIA는 IIT Madras 및 AI4Bharat 연구실과 함께 구축한, 인도 언어 22개에 걸쳐 약 2.8T 토큰을 담은 전체 데이터셋을 공개합니다. 아래 결과는 포스트 트레이닝을 마친 Nemotron 3.5 Super VL을 기준으로 합니다.

개발자는 NeMo를 활용해 이 기반 위에서 Nemotron 3.5 Super VL을 애플리케이션에 맞게 맞춤화할 수 있으며, 모델의 추론 및 에이전트 능력을 자체 데이터, 도구, 워크플로에 맞춰 조정할 수 있습니다.

LiLiCorr: 오픈 추측 디코딩 기법

LiLiCorr는 초안 전체에 걸쳐 토큰 후보를 함께 평가하여 병렬 추측 디코딩을 개선합니다. 토큰을 독립적으로 예측할 때 놓치는 의존 관계를 포착하는 방식입니다. 경량 네트워크가 한 번의 패스로 호환성 점수를 계산해 더 일관된 초안을 만들며, 마지막에는 비용이 낮은 순차 선택 단계만 남습니다.

DGX Spark에서 LiLiCorr는 Nemotron 3.5 Super VL의 저지연 추론에 권장하는 드래프터입니다. 추측 없이 디코딩할 때보다 토큰 생성이 최대 2.3배 빠릅니다.

NVFP4와 혼합 정밀도

이 모델은 NVIDIA Model Optimizer로 포스트 트레이닝 양자화와 양자화 인식 증류인 QAD를 적용합니다. NVFP4 레시피는 NVIDIA Blackwell 아키텍처에서 4비트 가중치와 4비트 활성화를 사용합니다. 같은 체크포인트가 Blackwell이 아닌 플랫폼에서는 4비트 가중치와 16비트 활성화로 실행됩니다. 정밀도는 민감한 구성 요소별로 따로 선택합니다.

NVFP4는 모델을 더 작게 만들고, QAD는 낮은 정밀도에서도 정확도를 유지하도록 돕습니다. QAD 과정에서 양자화된 모델이 원본 BF16 모델의 출력을 따라가도록 학습하며, 이로써 양자화가 일으키는 정확도 격차를 메웁니다. QAD 덕분에 정확도 목표를 충족하면서 키-값 캐시인 KV 캐시를 FP8 대신 NVFP4로 저장할 수도 있습니다. QAD는 학습 중에 이루어지므로 추론 오버헤드가 없습니다.

멀티 토큰 예측

멀티 토큰 예측인 MTP는 Nemotron 3.5 Super VL에 내부 드래프터를 제공합니다. 이 드래프터가 토큰 여러 개를 제안하면 메인 모델이 한 번의 순전파로 검증합니다. 여러 토큰을 한꺼번에 수락하면 응답을 생성하는 데 필요한 연산 집약적인 검증 단계 수가 줄어듭니다.

별도의 MTP 강화 학습 단계를 거쳐 드래프터를 최종 모델에 더욱 정렬했습니다.

에이전트 턴 간 컨텍스트 재사용

에이전트는 시스템 지시, 도구 정의, 대화 이력을 모델에 반복해서 전달합니다. 프리픽스 캐싱은 이렇게 공유되는 입력의 연산을 재사용합니다.

모델의 서빙 최적화는 어텐션 캐시와 Mamba 순환 상태를 모두 보존합니다. 추가 Mamba 체크포인트는 추측 디코딩을 위해 입력을 복구하는 데 필요한 리플레이를 줄이고, 내부 체크포인팅은 프롬프트 처리 중 불필요한 모델 패스를 없앱니다.

NVIDIA NIM과 NVIDIA Dynamo로 프로덕션 배포 간소화

NVIDIA NIM은 최적화된 추론 엔진, 검증된 구성, 표준 API와 함께 모델을 패키징하여 클라우드와 데이터센터 배포를 지원합니다. NIM은 보안, 기능, 성능 업데이트를 지속적으로 제공받으며, 엔터프라이즈 지원은 NVIDIA AI Enterprise에서 이용할 수 있습니다. NIM으로 시작해 보십시오.

NVIDIA Dynamo는 KV 캐시 인식 라우팅, KV 캐시 관리, 분리형 서빙 등 분산 추론 최적화를 지원하여 처리량을 높이고 지연 시간을 줄입니다.

NVIDIA B200 GPU 16개에서 사용자당 초당 50 토큰 조건으로 측정했을 때, 세션 어피니티를 적용한 KV 인식 라우팅과 KV 캐시 오프로드는 최대 8배 많은 사용자를 처리하면서 첫 토큰 지연 시간을 85% 줄입니다. Dynamo 배포 레시피로 시작해 보십시오.

Nemotron 3.5 Super VL 시작하기

멀티모달 추론과 도구 사용을 갖춘 특화 에이전트를 구축해 보십시오. 특화 워크플로에 맞게 모델을 맞춤화한 뒤, 지원되는 환경에 배포할 수 있습니다.

이번 릴리스에는 베이스 체크포인트, 포스트 트레이닝 체크포인트, NVFP4 양자화 체크포인트와 함께 학습 레시피, 데이터, 강화 학습 환경이 포함됩니다.

모델의 상세 내용은 Nemotron 3.5 기술 보고서를, 배포 방법은 Hugging Face 또는 ModelScope를 참고하십시오. 호스팅 방식으로 모델을 이용하려면 OpenRouter를 확인하십시오.

파트너 생태계

파트너들이 도메인 특화 워크플로를 위한 Nemotron 3.5 Super VL의 맞춤화와 배포를 지원합니다.

파트너 보기: