AI 팩토리는 지속적으로 거대해지는 모델과 복잡해지는 추론 워크로드를 지원해야 합니다. 폭발적으로 증가하는 AI 워크로드의 연산 수요를 충족하기 위해 하이퍼스케일러와 AI 네이티브 기업은 자체 맞춤형 AI 가속기(XPU)를 개발하고 있습니다. 이러한 가속기를 대규모로 배포하려면 연산 장치에 데이터를 원활하게 공급하는 고대역폭 메모리(HBM), 더 많은 연산 장치를 탑재할 패키지 및 실리콘 면적, 효율적인 전력 공급, 안정적인 공급망이 필수적입니다. 또한 XPU를 데이터센터 인프라에 배포하기 위한 랙 스케일 아키텍처도 요구됩니다.
NVIDIA NVLink Fusion은 하이퍼스케일러와 AI 네이티브 기업이 자체 개발한 XPU 및 CPU를 NVIDIA AI 인프라 플랫폼에 통합할 수 있도록 지원하는 연결 기술이자 IP입니다. 기업은 NVIDIA의 스케일업 및 스케일아웃 기술 스택, 생태계, MGX 랙 스케일 아키텍처를 활용하여 개발 및 배포 복잡성을 줄이고 성능을 향상시키며, 세미 커스텀 AI 팩토리의 시장 출시 시점을 앞당길 수 있습니다.
패키지 레벨에서는 NVHBM이 이러한 통합 아키텍처를 보완합니다. NVHBM은 주요 메모리 공급업체와 함께 설계 및 검증한 맞춤형 HBM 베이스 다이 기술로, 메모리 대역폭을 확장하고 면적을 효율화하며 전력 소비를 줄여줍니다. 이러한 성능 개선을 통해 커스텀 XPU는 더 큰 모델을 지원하고, KV 캐시 데이터를 더 빠르게 읽어 들이며, 학습 및 대규모 추론 성능을 향상시킬 수 있습니다.
대역폭, 다이 면적, 전력이 가속기 설계를 주도하는 이유
학습, 추론, 에이전틱 AI 워크로드는 모델 가중치, KV 캐시, 활성화 데이터에 대한 고처리량 접근에 점점 더 의존하고 있습니다. AI 시스템이 단일 가속기에서 랙 레벨 연산 도메인으로 확장됨에 따라, 가속기 패키지는 연산 로직, 전력 공급, 열 설계, 고대역폭 메모리의 균형을 맞춰야 합니다.
HBM은 필수적인 메모리 대역폭을 가속기 근처에 위치시키지만, 선도적인 메모리 기술 검증, 패키지 통합 및 테스팅 과정은 커스텀 가속기 프로젝트의 병목 현상이 될 수 있습니다. 고객은 NVLink Fusion을 통해 주요 메모리 제조업체와 검증을 마친 NVHBM 베이스 다이를 확보하여 통합 및 검증 병목 현상을 줄일 수 있습니다.
| 기능 | NVHBM 이점 |
| 대역폭 | 표준 HBM4e 대비 메모리 대역폭 최대 30% 향상 |
| 면적 | 인터페이스 연결 효율화를 통해 연산 다이 면적을 최대 25% 추가 확보하여 XPU 기능 확장 가능 |
| 전력 | 표준 HBM4e 대비 HBM 전력 소비 최대 15% 절감하여 수천 대의 XPU 전체에서 누적 절감 효과 창출 |
현대 AI 가속기의 메모리 대역폭 병목 현상
AI 가속기의 성능은 연산 엔진에 얼마나 지속적으로 데이터를 공급하느냐에 달려 있습니다. 높은 HBM 속도는 주어진 패키지 리소스 내에서 사용 가능한 메모리 대역폭을 늘려, 대역폭 집약적인 학습 및 추론 단계를 수행하는 능력을 끌어올립니다. NVHBM은 스택당 표준 HBM4e 대비 최대 30% 더 높은 메모리 대역폭을 제공합니다. 이는 메모리 대역폭에 제한을 받는 AI 워크로드에서 가속기 활용도를 높이고 처리량을 향상시키는 결과로 이어집니다. HBM과 연산 코어 간의 데이터 이동 속도를 높여 코어가 끊김 없이 작동하도록 함으로써, 대형 모델 추론 시 사용자당 토큰 처리량을 늘릴 수 있습니다.
NVHBM이 각 가속기 내부의 메모리 대역폭을 높이는 동안, NVLink Fusion은 더 큰 도메인에 걸쳐 가속기들을 연결하여 워크로드가 분산 연산 및 메모리 리소스를 한층 효율적으로 활용하도록 돕습니다.
이러한 스케일업 도메인은 전문가 병렬화(EP)나 WideEP와 같은 고도화된 라우팅 기법을 적용할 때 더욱 중요해집니다. 이 방식에서는 서로 다른 전문가(Expert)가 각기 다른 GPU에 배치되므로 전체 랙에 걸쳐 매끄럽고 빠른 동기화가 필수적입니다. AI 팩토리를 위한 스케일업 네트워킹 패브릭인 NVIDIA NVLink는 전문가 간 활성화 데이터와 은닉 상태(Hidden state)를 전송하고, 스케일업 패브릭 전체에 걸쳐 분산 캐시 동기화를 지원합니다. NVHBM은 로컬 연산 엔진에 데이터를 지속적으로 공급하여 데이터 기아 현상을 최소화합니다.
더 넓어진 패키지 면적, 한층 높아진 유연성
커스텀 AI 실리콘에서는 1제곱밀리미터의 면적도 매우 중요합니다. 가속기 설계자는 행렬 엔진, 벡터 유닛, 온칩 SRAM, 캐시 계층 구조, 제어 로직, 메모리 인터페이스, 노드 온 칩(NoC), 스케일업 연결성에 얼마만큼의 면적을 할당할지 결정해야 합니다. 맞춤형 메모리를 구현하면 HBM 접근에 필요한 설계 및 패키지 오버헤드를 줄여, 워크로드 특화 기능을 위한 면적을 추가로 확보할 수 있습니다.
AI 워크로드가 다양해짐에 따라 확보된 다이 면적은 하이퍼스케일러가 추론 서빙, 추천 시스템, 멀티모달 파이프라인, 내부 학습 워크로드에 맞춰 XPU를 최적화할 수 있는 유연성을 제공합니다. NVHBM은 메모리 인터페이스에 필요한 면적을 줄임으로써 설계 팀이 칩의 더 많은 부분을 성능 향상에 직접 할당할 수 있게 합니다.
면적 절감은 물리 메모리 인터페이스(PHY)의 재설계를 통해 주로 이루어집니다. 표준 HBM은 더 넓은 인터페이스 연결에 의존하므로 전체 패키지 면적이 커집니다. 반면 NVHBM은 효율성에 최적화된 맞춤형 베이스 다이를 사용하며, 메모리 컨트롤러를 3D HBM 스택 내부로 이동하고 맞춤형 PHY를 통합하여 입출력(I/O) 필요 면적을 줄였습니다.
이러한 설계를 통해 JEDEC HBM4e 표준 대비 PHY 및 지원 면적을 최대 67%까지 줄일 수 있습니다. 또한 좁아진 인터페이스 덕분에 인터포저 라우팅이 단순화되어, 전체 레이아웃에서 사용할 수 있는 실리콘 면적이 최대 80% 늘어납니다.
그림 1에 제시된 바와 같이, 메모리 인터페이스 연결 부위를 줄이면 중앙 AI 연산 다이를 확장할 수 있는 공간이 확보됩니다. 이러한 공간 확보를 통해 연산 로직이나 기타 기능을 위해 사용할 수 있는 메인 다이 실리콘 영역이 최대 30% 늘어납니다. 늘어난 실리콘 면적 덕분에 XPU 설계자는 고정된 패키지 규격 내에서도 더 많은 기능을 추가할 수 있습니다.
효율적인 확장을 위한 전력 절감 효과
전력은 현대 AI 인프라에서 가장 까다로운 제약 요소 중 하나입니다. HBM 전력 소비는 가속기 전력 예산, 패키지 열 설계, 랙 전력 한도, 데이터센터 냉각 계획에 직접적인 영향을 미칩니다. NVHBM은 표준 HBM4e 대비 HBM 전력 사용량을 15% 줄여, 연산을 위한 추가적인 전력 및 열 마진을 제공합니다.
전력 절감은 여러 단계에서 중요한 의미를 갖습니다. XPU 레벨에서는 HBM 전력이 낮아짐에 따라 와트당 성능이 향상되고, 연산 유닛을 더 배치하거나 지속적인 고하중 가동 상태를 유지할 여력이 생깁니다. 랙 레벨에서는 전력 공급 및 냉각 시스템의 부담을 줄여줍니다. AI 팩토리 스케일에서는 메모리 서브시스템의 미세한 전력 절감 효과가 수천 대의 가속기 전체에 누적되어 커다란 차이를 만들어냅니다. 2,000W 급 XPU를 사용하는 1기가와트(GW) 규모의 데이터센터 전체로 환산하면, 이 절감된 전력만으로 최대 1만 5천 대의 XPU를 추가로 운용할 수 있는 연산 마진이 확보됩니다.
이러한 이점은 대형 모델 추론에서 더욱 빛을 발합니다. XPU는 낮은 지연 시간과 높은 처리량으로 사용자 요청을 처리하는 동안 모델 가중치와 KV 캐시 데이터를 반복적으로 읽어 와야 합니다. 데이터 이동에 소비되는 에너지를 줄이면 대형 모델의 추론 속도를 높이고, 배치 크기를 확대하며, 공급된 전력을 효율적으로 활용할 수 있습니다.
랙 스케일에서 NVLink Fusion과 NVHBM의 결합
NVHBM은 칩 레벨에서 XPU의 성능과 효율성을 극대화하며, NVLink Fusion은 하이퍼스케일러와 AI 네이티브 기업이 자체 XPU를 NVIDIA AI 플랫폼 생태계에 유기적으로 연결할 수 있도록 돕습니다. 메모리 대역폭 30% 향상, 다이 면적 25% 추가 확보, HBM 전력 15% 절감이라는 공동 설계 아키텍처의 혁신이 더해져, XPU당 엔드투엔드 최종 성능이 30% 향상되는 결과를 제공합니다.
이러한 연결성은 커스텀 XPU와 NVLink 패브릭을 중계하는 NVLink Fusion 칩렛을 통해 구현되며, 랙 내부의 모든 XPU를 하나의 단일 스케일업 도메인으로 묶어줍니다. 6세대에 이른 NVLink는 AI 팩토리를 위해 고안되어 검증을 마친 스케일업 네트워킹 패브릭으로, 업계 최고 수준의 성능과 지능형 복구 능력을 제공합니다. 상위 상호연결 단에서는 NVLink-C2C를 통해 XPU와 CPU를 연결할 수 있습니다.
NVLink Fusion 도입 기업은 커스텀 XPU 및 CPU를 NVIDIA의 스케일업 및 스케일아웃 기술 스택, 생태계와 결합하여 개발 및 배포 복잡성을 낮추고, 성능을 끌어올리며, 세미 커스텀 AI 팩토리의 시장 출시 시점을 앞당길 수 있습니다. 단일 통합 아키텍처로 표준화함으로써 데이터센터 전반의 운용을 단순화하고, 데이터센터 용량을 유연하게 재할당하며, 커스텀 AI XPU를 GPU와 통합하여 이종 연산 환경을 구축할 수 있습니다.
커스텀 AI 실리콘의 다음 단계
NVLink Fusion은 GPU, 커스텀 XPU, CPU, 네트워킹, 랙 레벨 소프트웨어를 아우르는 공통 스케일업 기반을 제공합니다. NVHBM은 향상된 메모리 성능, 연산 밀도, HBM 전력 효율성, 공급망 안정성을 바탕으로 차세대 가속기를 위한 기반을 완성합니다. 파트너사는 이러한 기술을 바탕으로 커스텀 AI 가속기 설계부터 랙 스케일 배포 및 양산에 이르는 과정을 효율적으로 단축할 수 있습니다.
NVLink Fusion 및 NVHBM 도입에 대한 자세한 내용을 확인해 보시기 바랍니다.
