에이전트 시스템은 추론, 도구 사용, 코드 실행, 검색, 오케스트레이션, 결과 처리를 결합한 다단계 워크플로우를 통해 모델 추론을 실제 행동으로 전환합니다. 이러한 시스템이 AI 팩토리 전반으로 확장되면서, 성능은 GPU 가속뿐 아니라 모델 단계 사이의 CPU 작업에도 좌우됩니다.
CPU는 모델 단계 사이의 작업을 실행합니다. 샌드박스 평가, 도구 호출, 코드 실행, 데이터 처리, KV 캐시 조율, 결과 처리가 그 예입니다. 에이전트 AI에서는 소켓이 최대 부하 상태일 때의 코어당 지속 성능이 핵심입니다.
CPU 측 실행이 느려지면 GPU 플릿은 세 가지 방식으로 피해를 입습니다:
- 강화 학습(RL)이 사이클당 유용한 평가를 더 적게 받아 학습 시간이 늘어납니다.
- 플릿이 개별 사용자를 서비스하는 데 더 오랜 시간이 걸립니다.
- KV 캐시 퇴거가 발생해 캐시된 컨텍스트에서 얻은 컴퓨팅 절감 효과를 잃습니다.
Vera CPU, 더 스마트하고 효율적인 에이전트 구현
강화 학습(RL)은 GPU와 CPU 사이에 지속적이고 인터랙티브한 피드백 루프를 도입합니다. 데이터가 가속기로 스트리밍되는 AI 학습과 달리, RL은 순차적이고 논리 기반의 처리에 의존하는 환경 롤아웃/시뮬레이션을 통한 경험 데이터의 능동적 생성을 요구합니다.
병렬화된 롤아웃 단계에서 프로세서가 멈추면 학습 파이프라인이 피해를 입습니다. 느린 프로세서는 초당 완료되는 환경 단계가 줄어들고, 정책 업데이트 품질(그래디언트)이 저하됩니다.
그래디언트 영향: 그래디언트는 정책을 개선하기 위해 신경망에 전송되는 수학적 지시입니다. CPU 환경이 생성하는 피드백과 보상 같은 학습 신호에 의존합니다. 어려운 문제일수록 순차적 단계가 깊게 이어집니다. CPU의 코어당 성능은 하나의 학습 윈도우(training window) 안에서 평가를 끝까지 완료하는 환경의 수를 좌우합니다.
지속 성능 1.8배: Vera CPU는 풀 소켓 부하에서 코어당 지속 성능이 1.8배 빨라져, 기준 CPU 대비 강화 학습 처리량, 정책 그래디언트 품질, 환경 롤아웃 완료율을 직접 개선합니다.
완료율 향상: 기준 CPU는 약 45%의 평가를 완료하는 반면, Vera CPU는 동일한 학습 윈도우에서 약 85%를 달성합니다. 이는 더 스마트한 모델을 위한 더 풍부하고 고품질의 학습 신호를 제공합니다.
| Vera CPU 기능 | RL 영향 |
|---|---|
| 신경 분기 예측기 | Python, 시뮬레이터, 보상 로직, 도구의 복잡한 제어 흐름을 통해 파이프라인을 원활하게 유지 |
| 10-wide 디코드 프론트 엔드 | 각 사이클에서 더 많은 명령을 실행으로 전달해 CPU 처리량 향상 |
| 딥 비순차 실행 | 지연이 긴 작업을 우회해 진행함으로써 불규칙한 RL 워크로드의 중단 감소 |
| NVIDIA Spatial Multithreading | 수천 개의 병렬 환경으로 확장할 때도 높은 코어당 성능 유지 |
Vera CPU, GPU 시간당 더 많은 사용자 서비스 지원
오프라인 학습에서 라이브 인터랙티브 에이전트 배포로 이동하면, 기본 최적화 목표가 순수 처리량에서 엄격하고 예측 가능한 레이턴시로 전환됩니다. AI 에이전트는 복잡한 사용자 쿼리를 해결하기 위해 일련의 행동을 자율적으로 실행합니다. 각 단계는 모델이 다음으로 진행하기 전에 도구 호출, 코드 실행, 컴파일, 데이터 쿼리를 거칩니다.
낮은 평균 레이턴시만으로는 부족합니다. 에이전트는 소켓이 많은 동시 샌드박스, 서비스, 데이터 처리 작업으로 로드될 때 예측 가능한 레이턴시가 필요합니다.
모놀리식 다이의 장점
Vera CPU는 88개의 Olympus 코어를 갖춘 모놀리식 컴퓨팅 다이를 사용합니다. 이는 워크로드가 칩렛이나 서브-NUMA 도메인 간에 분산될 때 발생하는 복잡한 칩렛 간 코어-투-코어 홉을 방지합니다. 멀티 칩렛 CPU 설계에서 흔히 나타나는 성능 절벽도 피할 수 있습니다.
대용량 통합 캐시와 NVIDIA Scalable Coherency Fabric(SCF)과 결합해, 데이터가 시스템 전반에 균일하게 이동합니다. 이러한 구현으로 x86 CPU 대비 최대 부하 시 레이턴시를 40% 낮출 수 있습니다.
메모리 대역폭
에이전트는 수천 개의 동시 샌드박스, 도구 호출, 검색 작업, 데이터베이스 쿼리, 데이터 처리 작업을 위해 대규모 메모리 대역폭이 필요합니다. Vera CPU는 전력 효율적인 LPDDR5x를 사용해 다음을 제공합니다:
- 총 메모리 대역폭 최대 1.2TB/s
- 코어당 최대 14GB/s
- 기존 데이터 센터 CPU의 절반 미만의 전력으로 3배 이상의 코어당 메모리 대역폭
이는 하드웨어 병목 없이 엄격한 서비스 수준 계약(SLA)을 유지하는 고응답성 에이전트 AI 파이프라인을 구현합니다.
Vera CPU, 세션당 GPU 컴퓨팅 극대화
에이전트 추론에서 GPU는 하나의 중단 없는 패스로 작업하지 않습니다. 단일 세션에는 CPU 측 도구 호출, 코드 실행, 검색, 데이터베이스 쿼리, 샌드박스 평가로 분리된 많은 모델 단계가 포함됩니다. 완전히 포화된 데이터 센터에서 GPU는 이 간격 동안 대기하지 않고 새로운 요청과 새로운 활성 컨텍스트를 처리합니다.
KV 캐시 퇴거 문제
요청이 누적됨에 따라 원래 요청 트레이스의 KV 캐시를 보존하기가 어려워집니다. 느린 CPU는 GPU 연산 단계 사이의 간격을 늘리고, 그 결과 시스템이 다른 사용자의 실행 대기 작업 공간을 확보하려고 원래 요청의 KV 캐시를 GPU 메모리에서 퇴거시킬 가능성이 높아집니다. 도구 호출이 완료되면 GPU는 캐시된 상태에서 재개하는 대신 이전 시퀀스를 대규모 입력 프롬프트로 재처리하여 이전 컨텍스트를 재구성해야 할 수 있습니다.
Vera의 해결책
Vera CPU는 다음을 통해 CPU 측 처리 구간을 단축합니다:
- 더 빠른 도구 실행
- 부하 시 더 강력한 코어당 성능
- 높은 메모리 대역폭
- 예측 가능한 레이턴시
이는 에이전트가 GPU 단계 사이에서 대기하는 시간을 줄이고, KV 캐시 퇴거 노출 창을 단축하며, 더 많은 활성 컨텍스트를 HBM에 상주시키고, 비용이 큰 재계산 필요성을 줄입니다. 더 많은 GPU 시간이 컨텍스트 재구성 대신 유용한 토큰 생성에 사용되어, CPU 성능이 포화된 에이전트 시스템에서 GPU 효율성에 직접 기여합니다.
AI 팩토리의 미래를 가속화하며
Vera CPU는 에이전트 AI 팩토리에 가장 중요한 CPU 기능을 제공합니다. 지속적인 코어당 성능, 부하 시 예측 가능한 낮은 레이턴시, 대규모 메모리 대역폭, 그리고 규모에 맞는 효율적인 데이터 이동이 그것입니다. 에이전트 AI가 확장됨에 따라 CPU는 더 이상 배경 인프라가 아닙니다. CPU는 AI 팩토리의 처리량, 응답성, GPU 효율성을 직접 좌우합니다. Vera CPU는 중단을 줄이고, 재계산을 제한하며, 시스템 전체가 부하 시에도 생산적으로 유지될 수 있도록 지원함으로써 차세대 에이전트 AI 팩토리 전반에서 성능을 극대화합니다.
상대 성능은 측정된 데이터를 기반으로 하며 변경될 수 있습니다. NVIDIA Vera CPU(LPDDR5X)의 성능은 최신 x86 CPU를 기준으로 비교됩니다.
