인공지능이 컴퓨팅 환경을 재편하면서 네트워크는 이제 미래 데이터센터를 형성하는 핵심적 기반으로 자리 잡았습니다. 거대 언어 모델(LLM)의 학습 성능은 단순히 연산 자원에 의해서만 결정되지 않는데요. 네트워크의 속도, 용량, 그리고 지능적인 운영 능력도 성능에 큰 영향을 미칩니다. 업계는 CPU 중심의 전통적인 인프라를 넘어서, GPU와 네트워크가 긴밀히 연결된 AI 팩토리로 빠르게 전환하고 있습니다.
NVIDIA는 현대적인 AI 학습과 추론이 요구하는 고대역폭, 짧은 지연 시간, 그리고 순간적인 트래픽 폭증에도 안정적으로 대응할 수 있도록 종합적인 네트워킹 솔루션을 구축해왔습니다. 여기에는 Spectrum-X Ethernet, NVIDIA Quantum InfiniBand, 그리고 BlueField 플랫폼이 포함됩니다. 연산과 통신을 유기적으로 조율해, NVIDIA의 네트워킹 포트폴리오는 확장성 있고 효율적이며 복원력까지 갖춘 AI 데이터센터의 기반을 마련합니다. 네트워크는 이제 AI 혁신을 이끄는 ‘중추 신경계’로 자리 잡고 있습니다.
이번 블로그에서는 NVIDIA 네트워킹 혁신이 거대 AI 팩토리에서 공동 패키징 광학(co-packaged optics)을 통해 어떻게 전력 효율성과 복원력을 크게 향상시켰는지 살펴봅니다.
AI 팩토리 인프라 vs 전통적 엔터프라이즈 데이터센터
전통적인 엔터프라이즈 데이터센터에서는 Tier 1 스위치가 각 서버 랙 내부에 통합되어, 서버와의 직접 구리(copper) 연결이 가능했습니다. 이 구조는 전력 소모와 구성 요소 복잡성을 최소화하며, 네트워크 요구가 크지 않았던 CPU 중심 워크로드에는 충분했습니다.
반면, NVIDIA가 주도하는 최신 AI 팩토리는 수천 개의 GPU가 하나의 작업을 위해 밀도 높게 협력하는 초고집적 컴퓨트 랙으로 구성됩니다. 이런 환경에선 데이터센터 전반에 걸쳐 최대한의 대역폭과 최소한의 지연이 필수인데, 이를 위해 랙 내부에 위치하던 Tier 1 스위치를 각 행(row) 끝으로 옮기는 새로운 토폴로지가 도입됐습니다. 이 아키텍처에서는 서버와 스위치 간 거리가 크게 늘어나면서 광 네트워킹이 반드시 필요해졌습니다. 그 결과, 전력 소비와 광학 부품 사용량이 크게 늘었고, 이제는 NIC와 스위치 간 연결은 물론, 스위치 간 연결에도 광학 장치가 요구됩니다.
이러한 변화(아래 Figure 1 참고)는 대규모 AI 워크로드의 고대역폭·저지연 요구를 충족하기 위해 토폴로지와 기술이 얼마나 크게 전환되어야 하는지를 잘 보여줍니다. 나아가 이는 데이터센터의 물리적 구조와 에너지 프로파일 자체를 근본적으로 재편합니다.
AI 팩토리의 네트워크 신뢰성과 전력 효율 최적화
전통적인 네트워크 스위치는 플러그형 트랜시버를 사용하며, 여러 전기적 인터페이스에 크게 의존합니다. 이런 아키텍처에서는 데이터 신호가 스위치 ASIC에서 시작해 PCB, 커넥터를 거쳐 외부 트랜시버까지 긴 전기 경로를 따라 이동하다가, 마지막에 이르러서야 광 신호로 변환됩니다. 이처럼 신호 경로가 여러 구간으로 나뉘면 전기적 손실이 상당해집니다. 예를 들어 200Gbps 채널 기준으로 최대 22dB의 손실이 발생할 수 있으며(아래 Figure 2 참고), 이로 인해 복잡한 디지털 신호 처리와 다수의 능동 부품이 필수적으로 요구됩니다.
그 결과, 인터페이스 하나당 약 30W에 달하는 전력 소모와 발열 증가, 그리고 수많은 잠재적인 고장 지점이 생깁니다. 개별 모듈과 연결부가 많아지면서 시스템 전력 소비와 부품 수가 급격히 늘어나고, 이는 링크 신뢰성까지 떨어뜨려 AI 규모가 커질수록 운영에 지속적인 부담이 됩니다. 아래 Figure 3은 각 구성 요소별 전력 소비의 대표적인 수치를 보여줍니다.
반면, CPO 기반 스위치는 전기-광 변환을 스위치 패키지 내부에 직접 통합합니다. 파이버가 ASIC 옆에 위치한 광 엔진(Optical Engine) 에 바로 연결되며, 이로써 전기적 손실은 약 4dB 수준으로 줄어들고 전력 소모는 9W까지 절감됩니다. 불필요한 인터페이스를 제거하고 신호 경로를 단순화함으로써 신호 무결성, 신뢰성, 에너지 효율성이 획기적으로 향상됩니다. 이는 바로 초고밀도·고성능 AI 팩토리에 필수적인 조건입니다.
CPO가 AI 팩토리에 가져오는 변화
NVIDIA는 AI 팩토리에 대한 전례 없는 니즈를 충족하기 위해 CPO 기반 시스템을 설계했습니다. 새로운 NVIDIA Quantum-X Photonics와 Spectrum-X Photonics(아래 Figure 4 참고)는 기존 플러그형 트랜시버를 대체하며, 신호 경로를 단순화해 성능, 효율, 신뢰성을 한층 강화합니다. 이러한 혁신은 단순히 대역폭과 포트 밀도의 신기록을 세우는 데 그치지 않고, AI 데이터센터의 경제성과 물리적 설계 자체를 근본적으로 재편합니다.
Quantum-X Photonics: 차세대 InfiniBand 네트워킹의 시작
NVIDIA Quantum-X InfiniBand Photonics의 도입으로, NVIDIA는 InfiniBand 스위치 기술을 한 단계 더 끌어올렸습니다. 이 플랫폼은 다음과 같은 특징을 갖습니다:
- 115Tb/s 스위칭 용량 – 포트당 800Gb/s를 지원하는 144개 포트 제공
- 14.4 테라플롭스의 인-네트워크 컴퓨팅 – 4세대 NVIDIA SHARP (Scalable Hierarchical Aggregation Reduction Protocol) 기술 기반
- 액체 냉각 지원 – 탁월한 열 관리 성능
- 전용 InfiniBand 관리 포트 – 강력한 인밴드 제어 및 모니터링 제공
NVIDIA Quantum-X는 집적 실리콘 포토닉스 를 활용해 유례없는 대역폭, 초저지연, 뛰어난 운영 복원력을 달성합니다. 또한 공동 패키징 광학 설계를 통해 전력 소모를 줄이고, 신뢰성을 높이며, 빠른 배포를 가능하게 합니다. 이로써 거대한 에이전틱 AI 워크로드의 초대규모 연결 요구까지 충족합니다.
Spectrum-X Photonics: 대규모 이더넷 AI 팩토리를 가능하게 하는 기술
CPO 혁신을 이더넷 영역으로 확장한 NVIDIA Spectrum-X Photonics 스위치는 생성형 AI와 대규모 LLM 학습 및 추론을 위해 특별히 설계되었습니다. 새로운 Spectrum-X Photonics 제품군은 Spectrum-6 ASIC 기반의 액체 냉각 섀시 두 가지로 제공됩니다:
- Spectrum SN6810: 102.4Tb/s 대역폭, 128개 포트(각각 800Gb/s 지원)
- Spectrum SN6800: 409.6Tb/s 대역폭, 무려 512개 포트(각각 800Gb/s 지원)
두 플랫폼 모두 NVIDIA 실리콘 포토닉스로 구동되어, 개별 부품과 전기적 인터페이스 수를 획기적으로 줄였습니다. 그 결과, 이전 아키텍처 대비 전력 효율은 3.5배 향상, 광학 부품 고장 위험은 10배 감소하여 시스템 복원력이 크게 높아졌습니다. 또한 기술자들은 더 쉬운 유지보수를 경험할 수 있고, AI 운영자는 시스템 구동 시간 1.3배 단축, 첫 토큰 도달 시간 개선의 이점을 누릴 수 있습니다.
NVIDIA의 공동 패키징 광학은 탄탄한 파트너 에코시스템에 의해 가능해졌습니다. 업계 전반의 협력은 단순히 기술적 성능뿐 아니라, 글로벌 대규모 AI 인프라 배포에 필요한 생산 확장성과 신뢰성까지 보장합니다.
CPO가 제공하는 성능, 전력, 신뢰성 혁신
공동 패키징 광학의 장점은 분명합니다.
- 전력 효율 3.5배 향상: 플러그형 트랜시버를 제거하고 광학 부품을 스위치 ASIC 패키지에 직접 통합해, 네트워크 밀도가 크게 늘어나도 포트당 전력 소모가 획기적으로 줄어듭니다.
- 신뢰성 10배 강화: 개별 능동 부품을 줄이고, 고장 위험이 높은 트랜시버를 제거해 가동 시간과 운영 안정성이 크게 높아집니다.
- 운영 속도 1.3배 향상: 단순화된 조립과 유지보수 덕분에 배포 속도가 빨라지고 AI 팩토리 확장도 가속화됩니다.
이 스위치 시스템은 최대 409.6Tb/s 대역폭과 포트당 800Gb/s를 지원하는 512개 포트라는 업계 최고 수준을 달성했으며, 고밀도·고전력 환경을 위해 효율적인 액체 냉각을 지원합니다. 아래 Figure 5에서는 NVIDIA Quantum-X Photonics Q3450과, Spectrum-X Photonics 단일 ASIC 기반 SN6810 및 쿼드 ASIC 기반 SN6800(통합 파이버 셔플 포함) 두 가지 변형 제품을 확인할 수 있습니다.
이러한 제품군은 네트워크 아키텍처 전환의 기반을 마련합니다. AI 워크로드가 요구하는 막대한 대역폭과 초저지연 조건을 충족하는 것은 물론, 첨단 광학 부품과 견고한 시스템 통합 파트너십을 결합해 현재는 물론 미래의 확장성까지 고려한 최적의 네트워크 패브릭을 구현합니다. 하이퍼스케일 데이터센터가 점점 더 빠른 구축 속도와 절대적인 신뢰성을 요구하는 지금, CPO는 더 이상 선택이 아닌 필수로 자리 잡고 있습니다.
에이전틱 AI 시대를 여는 새로운 전환점
NVIDIA의 Quantum-X와 Spectrum-X 포토닉스 스위치는 대규모 AI에 요구되는 지속적인 성능과 확장성에 맞춰 설계된 네트워크로의 전환을 의미합니다. 기존의 전기 기반 아키텍처와 플러그형 구조에서 발생하던 병목을 제거함으로써, CPO(공동 패키징 광학) 시스템은 현대 AI 팩토리에 필요한 성능, 전력 효율, 신뢰성을 모두 갖춘 솔루션을 제공합니다. NVIDIA Quantum-X InfiniBand 스위치는 2026년 초, Spectrum-X Ethernet 스위치는 2026년 하반기 상용 출시될 예정이며, 이를 통해 NVIDIA는 에이전틱 AI 시대에 최적화된 네트워킹의 새로운 기준을 제시하고 있습니다.
곧 공개될 2편에서는 이 혁신적인 플랫폼의 내부를 들여다볼 예정입니다. NVIDIA Quantum-X Photonics와 Spectrum-X Photonics를 구동하는 실리콘 포토닉스 엔진의 아키텍처와 동작 원리를 깊이 있게 살펴보고, 차세대 광 연결을 가능하게 만든 핵심 기술 혁신과 엔지니어링 성과를 조명할 예정입니다. 온칩 통합 기술부터 새로운 변조 방식까지, 다음 글에서는 AI 네트워킹에서 이 포토닉스 엔진이 어떻게 차별화되는지 집중적으로 다룰 것입니다.
NVIDIA Photonics에 대한 더 자세한 내용은 여기를 확인하세요.
