AI 작업이 점점 더 복잡해지고 규모도 커지면서, 거대 언어 모델(LLM)부터 에이전틱 AI, 물리 AI에 이르기까지 더 빠르고 확장 가능한 컴퓨팅 인프라에 대한 수요가 그 어느 때보다 커졌습니다. 이런 요구를 충족하려면 시스템 구조를 처음부터 다시 설계해야 합니다.
NVIDIA는 업계 최초로 PCIe Gen6을 지원하는 스위치와 초고속 네트워크 기능을 하나로 통합한 SuperNIC, NVIDIA ConnectX-8 SuperNIC을 통해 플랫폼 구조를 한 단계 더 발전시키고 있습니다. 현대 AI 인프라를 위해 설계된 ConnectX-8은 시스템 설계를 단순화하면서도 더 높은 처리량을 제공하고, 전력 효율과 비용 효율까지 향상시킵니다.
PCIe Gen6 연결 준비
PCIe 기반 플랫폼, 특히 GPU가 8개 이상 탑재된 시스템에서는 GPU 간 통신 대역폭을 극대화하고 확장 가능한 GPU 구조를 구현하려면 PCIe 스위치가 필수입니다. 하지만 기존 설계는 독립형 PCIe 스위치에 의존해 설계가 복잡해지고, 성능과 효율성에도 제약이 생기곤 했습니다.
ConnectX-8은 이런 문제를 해결하기 위해 48레인의 PCIe Gen6 연결과 PCIe Gen6 스위치를 하나로 통합했습니다. 이를 통해 GPU 간, 그리고 GPU와 NIC 간의 통신을 하나의 고성능 장치에서 처리할 수 있어 별도의 PCIe 스위치가 필요하지 않습니다. 그만큼 부품 수가 줄고 보드 설계도 간단해져, AI 인프라에 더 적합한 비용 효율적이고 확장성 있는 구조를 구현할 수 있습니다.
또한, ConnectX-8은 PCIe Gen6을 기본으로 지원해 차세대 GPU, CPU, I/O 가속기의 증가하는 입출력 요구도 충분히 감당할 수 있습니다. 덕분에 시스템 설계자는 향후 출시될 고성능 PCIe Gen6 장치의 대역폭을 온전히 활용할 수 있는 플랫폼을 미리 준비할 수 있습니다.
NVIDIA RTX PRO 서버를 통한 엔터프라이즈 워크로드 가속화
ConnectX-8 SuperNIC은 현재 양산 단계에 들어섰으며, NVIDIA HGX B300과 NVIDIA GB300 NVL72 시스템에 통합되어 있습니다. COMPUTEX 2025에서 공개된 ConnectX-8은 전 세계 시스템 파트너들이 선보이는 NVIDIA RTX PRO 서버에 탑재되어 있으며, 최대 8개의 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU를 구성할 수 있습니다.
그림 1은 두 가지 서버 아키텍처를 비교합니다. 하나는 기존의 독립형 PCIe 스위치를 사용하는 전통적인 설계이고, 다른 하나는 PCIe Gen6 스위치를 통합한 NVIDIA ConnectX-8 SuperNIC을 활용한 NVIDIA RTX PRO 서버의 최적화된 구성입니다.
기존 설계에서는 서버 구성에 CPU 두 개, GPU 여덟 개(NVIDIA L40 등), NIC 다섯 개가 포함됩니다. 이 NIC은 NVIDIA ConnectX-7 네 개와 NVIDIA BlueField-3 DPU 한 개로 구성되며, GPU 간 및 GPU와 NIC 간 연결을 위해 별도의 PCIe 스위치 두 개에서 네 개가 추가로 필요합니다. 이로 인해 설계가 복잡해지고 부품 수도 늘어납니다.
반면 최적화된 설계는 전용 PCIe 스위치 대신 ConnectX-8 SuperNIC을 사용합니다. 이 장치는 PCIe Gen6 스위칭과 800Gb/s 네트워크 기능을 하나로 통합해, 아키텍처를 훨씬 간결하게 만듭니다. 이 구조는 GPU 두 개당 NIC 하나 기준으로, NVIDIA RTX PRO 6000 Blackwell GPU당 최대 400Gb/s의 네트워크 대역폭을 지원하면서도 시스템 복잡도를 크게 줄입니다.
이 설계는 GPU당 네트워크 대역폭을 두 배로 늘려 IO 병목을 해소하고, GPU, NIC, 저장 장치 간 데이터 이동 속도를 가속화합니다. 그 결과, 이 NVIDIA RTX PRO 서버 플랫폼은 NCCL all-to-all 성능이 최대 두 배 향상되어, 멀티 GPU 및 멀티 노드 작업에 중요한 집합 통신을 더 빠르게 처리하고 AI 팩토리 전반의 확장성도 크게 높여줍니다.
그림 1을 바탕으로, 그림 2는 서버 아키텍처를 더 자세히 보여주며 최적화된 설계가 세 가지 주요 GPU 통신 경로에서 연결성을 어떻게 개선하는지를 설명합니다.
1. 두 CPU 소켓을 가로지르는 GPU 간 통신: 기존 설계에서는 이 경로에서 CPU 간 연결이 병목이 되어 대역폭이 최대 25GB/s 이하로 제한되는 경우가 많습니다. 반면, 최적화된 CX8 기반 설계에서는 NCCL이 모든 트래픽을 네트워크로 직접 라우팅하기 때문에 클러스터 내 모든 GPU 간 통신에서 GPU당 최대 50GB/s의 IO 대역폭을 확보할 수 있습니다.
2. GPU와 NIC 간 통신: 최적화된 아키텍처는 GPU당 2:1 비율로 NIC을 구성해, 각 GPU에 50GB/s의 대역폭을 제공합니다. 이는 GPU나 호스트 시스템이 PCIe Gen5든 Gen6든 관계없이 유지됩니다.
3. 동일한 PCIe 스위치를 통한 GPU 간 통신: PCIe Gen6이 적용된 시스템에서는 Gen5 대비 두 배의 대역폭을 제공해, 동일한 PCIe 스위치를 통한 GPU 간 데이터 전송 속도가 크게 향상됩니다.
PCIe 스위칭 기능을 SuperNIC에 직접 통합한 ConnectX-8은 보드 설계를 단순화할 뿐 아니라, 공기 흐름을 개선하고 유지보수도 더 쉽게 만듭니다. 그 결과, 플랫폼이 더 작고 전력 효율적이며 비용 측면에서도 유리해집니다. NVIDIA의 레퍼런스 설계를 기반으로 한 이 혁신은 시스템 제조사가 성능을 높이면서도 더 빠르게 확장하고, 총소유비용(TCO)을 줄이는 데 큰 도움이 됩니다.
PCIe 기반 AI 인프라의 미래
NVIDIA ConnectX-8은 PCIe 기반 시스템의 가능성을 새롭게 정의하고 있습니다. PCIe Gen6 스위치와 고성능 SuperNIC을 하나의 통합된 장치로 결합함으로써, 서버 설계를 간소화하고 부품 수를 줄이며, 최신 AI 작업에 필요한 고대역폭 통신 경로를 열어줍니다. 그 결과, 플랫폼은 더 단순하고 전력 효율적이며, 총소유비용(TCO)을 낮추면서도 뛰어난 성능 확장성을 제공합니다.
또한, ConnectX-8 SuperNIC은 멀티 GPU 기반 플랫폼에서 보안 컴퓨팅 기능도 한층 강화해 줍니다.
COMPUTEX 2025에서는 ASRock Rack, ASUS, Compal, Foxconn, GIGABYTE, Inventec, MiTAC, MSI, Pegatron, QCT, Supermicro, Wistron, Wiwynn 등 주요 데이터센터 파트너들이 ConnectX-8 SuperNIC을 탑재한 NVIDIA RTX PRO 서버를 통해 진일보한 AI 플랫폼 아키텍처를 선보이고 있습니다. 차세대 인프라가 어떻게 변화하고 있는지 직접 보고 싶다면, COMPUTEX 2025에서 진행되는 NVIDIA 창립자 겸 CEO 젠슨 황의 키노트를 시청하세요.
NVIDIA Spectrum-X 플랫폼에서 ConnectX-8 SuperNIC이 어떤 역할을 수행하며, 현대 AI 인프라를 어떻게 가속화하는지 더 알고 싶다면 ‘NVIDIA SuperNIC이 이끄는 차세대 AI 네트워크’ 자료를 참고해 보세요.
