NVIDIA BlueField-3 데이터처리장치(DPU)는 현재 양산 중이며, NVIDIA GTC 2023에서 발표한 바와 같이 오라클 클라우드 인프라스트럭쳐(OCI)가 이 DPU를 성능, 효율성, 보안을 높이기 위해 채택했습니다.
초당 400 기가바이트(Gb) 인프라 컴퓨팅 플랫폼인 BlueField-3를 사용하면 데이터센터를 대규모로 배포하고 운영할 수 있습니다. 이제 NVIDIA DOCA 소프트웨어 프레임워크에서 BlueField-3를 지원하므로, 수천 명의 개발자가 3세대 DPU 플랫폼의 성능을 활용하여 가속화된 애플리케이션과 서비스를 빠르게 구축할 수 있게 됐습니다.
데이터센터에서 AI 팩토리까지
데이터센터는 새로운 AI 기반 경제의 핵심으로, 데이터가 원재료이고 AI 알고리즘이 데이터를 귀중한 통찰력으로 전환하는 처리 엔진 역할을 합니다. BlueField-3는 전 세계 데이터센터를 지원하는 NVIDIA 가속 컴퓨팅 스택의 기반입니다. BlueField-3 DPU는 데이터센터 컨트롤 플레인을 오프로드, 가속화, 격리함으로써, 이제 통합 컴퓨팅 플랫폼으로 작동하는 노드 클러스터 전체에서 AI를 포함한 최첨단 워크로드를 실행하기 위한 안전하고 가속화되며 지속 가능한 인프라를 생성합니다.
데이터센터 규모의 컴퓨팅을 위해 설계된 BlueField-3는 이전 세대보다 초당 400 Gb의 이더넷과 인피니밴드 연결, 4배 더 강력한 컴퓨팅 성능, 최대 4배 더 빠른 암호화 가속, 2배 더 빠른 스토리지 처리, 4배 더 많은 메모리 대역폭을 제공합니다. 또한 NVIDIA DOCA 소프트웨어 프레임워크를 통해 이전 버전과 완벽한 하위 호환성을 제공합니다.
NVIDIA DOCA, 가속화된 클라우드 서비스로 가는 길을 선도
NVIDIA DOCA는 BlueField DPU 용으로 특별히 설계된 SDK 이자 가속 프레임워크입니다. DOCA는 BlueField DPU 용 애플리케이션과 서비스의 신속한 생성, 배포를 가능하게 하여 데이터센터 혁신을 지원합니다.
광범위한 라이브러리, 드라이버, API를 제공하는 NVIDIA DOCA는 BlueField DPU 개발자를 위한 “원스톱 숍” 이며 클라우드에서 인프라 서비스를 가속화하는 핵심적 역할을 합니다. 따라서 NVIDIA DOCA는 데이터센터 워크로드를 가속화하고 AI 애플리케이션을 대규모로 배포하기 위한 유연하고 강력한 플랫폼을 제공하고자 하는 NVIDIA AI 클라우드 서비스 전략의 핵심 요소입니다.
이미 4,700명 이상의 얼리 액세스 개발자가 NVIDIA DOCA를 사용하여BlueField 애플리케이션을 만들고 있는 가운데, NVIDIA는 모든 사람이 액세스할 수 있는 NVIDIA DOCA 출시를 발표하게 되어 기쁩니다.
NVIDIA DOCA 2.0를 통한 새로운 BlueField-3 사용 사례
최신 릴리스인 NVIDIA DOCA 2.0에는 BlueField-3 데이터 경로 가속기(DPA) 프로그래밍 서브시스템과 DOCA IPsec 암호화/암호 해독 라이브러리, 디바이스 증명, YARA 규칙 등의 여러 보안 강화 기능이 추가됐습니다. DOCA Flow 라이브러리에 대한 개선 사항도 포함되어 있습니다.
BlueField-3 DPA를 위한 NVIDIA DOCA 프로그래밍 가능성
NVIDIA DOCA 2.0은 BlueField-3 DPA 프로그래밍 서브시스템을 활용하기 위해 개선된 기능을 추가합니다. DPA는 BlueField-3 DPU의 프로그래밍 가능성이 높은 임베디드 프로세서입니다. 디바이스 에뮬레이션, 정체 제어, 사용자 지정 프로토콜 등과 같은 네트워킹 집약적이고 컴퓨팅 사용량이 적은 작업을 위해 설계됐습니다.
NVIDIA DOCA DPA는 NVIDIA DOCA SDK 패키지의 일부이며, DPA 프로세서에서 실행할 네트워크 중심 코드 오프로드를 위한 프로그래밍 모델을 제공합니다. DPA는 CPU에서 더 많은 유형의 트래픽을 오프로드하고 DPU 가속을 통해 성능을 높이는 데 도움이 됩니다.
DPA 디바이스 에뮬레이션을 위해 VirtIO를 BlueField-3 DPA로 오프로드
NVIDIA DOCA와 BlueField-3(DPA 포함)는 장치 에뮬레이션에 VirtIO-net을 사용할 때 이전 옵션에 비해 상당한 개선이 가능합니다. 가상화된 환경에서 가상 머신(VM)은 물리적 머신처럼 네트워크에 액세스해야 합니다.
이 예시에서 VM은 일반적으로 CPU를 호출하여 NIC 액세스와 같은 특정 작업을 처리합니다. 이 작업을 CPU에서 BlueField-3 전용 DPA 엔진으로 오프로드하면 BlueField-2보다 성능이 2배 향상되고 효율성이 향상되어 데이터센터 전력 소비를 줄이는 데 도움이 됩니다. 이렇게 하면 데이터 네트워킹 전력이 애플리케이션의 CPU 코어/사이클을 소비하는 것을 방지하는 효과가 있습니다.
NVIDIA DOCA IPsec과의 보안 통신
IPsec은 무단 액세스, 변조 또는 도청으로부터 IP 패킷을 보호하기 위해 암호화, 인증, 무결성 서비스를 제공하는 보안 프로토콜입니다. 안전한 고속 통신에 대한 수요가 증가함에 따라 기존 CPU 기반 IPsec 처리에 부담이 가중되어 오프로딩이 매력적인 솔루션이 됐습니다.
가속화된 방화벽 솔루션에서 IPsec을 BlueField-3 DPU로 오프로드하면 보안을 최적화하고 성능을 가속화할 수 있습니다. 방화벽을 통과하는 트래픽은 DPU로 오프로드되고 IPsec 터널을 통해 수신 호스트로 전송될 수 있는데요. 예를 들어 200Gbps 양방향 트래픽을 지원하는 32K 동시 IPsec 터널을 제공합니다. 이는 CPU 사용률을 줄이고 빠르고 효율적인 방법을 통해 신뢰할 수 있는 트래픽을 관리합니다. 위협 검사가 필요한 나머지 트래픽은 호스트와 CPU를 통해 라우팅됩니다. 이제 CPU가 더 이상 IPsec 트래픽을 관리하지 않으므로 방화벽 애플리케이션의 성능이 게선되어 프로세스가 최적화됐습니다.
DOCA IPsec 라이브러리의 추가는 차세대 방화벽(NGFW) 애플리케이션에 상당한 이점을 제공합니다. 메시지 템플릿, 미리 작성된 코드, 서브루틴 등 라이브러리 내에 포함된 리소스 풀은 전체 개발 프로세스를 단순화하고 TTM을 줄이는 데 도움이 됩니다. DOCA IPsec 라이브러리는 DOCA Flow 라이브러리와 상호 운용되므로, 개발자가 다양한 네트워크 파이프라인 설계(예: DOCA Flow NAT 파이프)를 위해 여러 DOCA Flow 파이프를 함께 연결할 수 있습니다.
마지막으로 NVIDIA DOCA는 이제 향상된 속도로 새로운 경로와 NAT 테이블을 프로그래밍할 수 있는 기능을 제공하므로, 거의 회선 속도로 IPsec 암호화와 암호 해독을 가능하게 하고 실용성을 높이면서 CPU의 부담을 제거합니다.
5G 워크로드를 위한 효율적 GPU 통신
NVIDIA Aerial은 GPU에서 병렬 처리로 최적화된 고성능 소프트웨어 정의 5G L1 스택을 구축하기 위한 SDK입니다. 특히 NVIDIA Aerial SDK를 사용하여 무선 장치(RU)를 통해 여러 이더넷 패킷으로 분할된 무선 클라이언트 데이터 프레임을 전송(다운링크) 또는 수신(업링크)하는 BBU(베이스밴드 장치) 소프트웨어를 구축할 수 있습니다.
업링크에서 BBU는 패킷을 수신하고 유효성을 검사하며 신호 처리를 트리거하기 전에 RU당 원본 데이터 프레임을 재구성합니다. NVIDIA Aerial SDK를 사용하면 시간 슬롯당 각 RU 전용 CUDA 커널이 있는 GPU에서 이 작업이 수행됩니다. 그러나 셀 수가 증가함에 따라 네트워크 카드와 GPU 사이의 CPU 기능이 병목 현상이 됩니다.
NVIDIA DOCA 소프트웨어 프레임워크는 중요 경로에서 CPU를 제거하고 NIC와 CUDA 커널(GPUDirect Async Kernel-Initiated 기술) 간의 직접 통신을 가능하게 하는 방법을 제공합니다. 새로운 DOCA GPUNetIO 라이브러리는 애플리케이션이 CUDA 커널 내에서 호출할 수 있는 CUDA 장치 기능을 제공하여 CPU 코어나 메모리 없이도 GPU에서 직접 패킷을 송수신할 수 있습니다.
이러한 방식으로 NVIDIA Aerial BBU 소프트웨어는 패킷 수신을 위해 셀당 CUDA 커널 전용의 고도로 병렬화되고 확장 가능한 접근 방식을 제공할 수 있습니다. 이로 인해 시스템 용량이 4배 향상됐습니다(DOCA GPUNetIO를 통해 CPU 중심 방식의 4개 셀에서 GPU 중심 방식의 16개 셀로).
CPU는 패킷 정보를 제공하기 위해 더 이상 GPU와 통신할 필요가 없으므로 네트워킹 오버헤드를 관리하는 대신 애플리케이션 처리에 집중할 수 있습니다. NVIDIA DOCA GPUNetIO 얼리 엑세스에 지금 등록하세요.
AI 서비스 가속화
AI의 잠재력을 최대한 실현하기 위해, 데이터센터는 가속 컴퓨팅으로 전환하여 계속 증가하는 컴퓨팅 수요를 충족하고 있습니다. BlueField-3는 초당 400Gb 연결을 지원하고 전례 없는 수준의 컴퓨팅과 가속 기능을 제공하는 3세대 인프라 컴퓨팅 플랫폼입니다. NVIDIA DOCA 2.0 릴리스로 구동되는 BlueField-3는 AI 시대를 위해 클라우드, 슈퍼컴퓨팅, 엔터프라이즈 데이터센터를 혁신하고 있습니다.
BlueField-3는 이제 에이수스(ASUS), 아토스(Atos), 시스코(Cisco), 델 테크놀로지스(Dell Technologies), 기가바이트(GIGABYTE), 레노버(Lenovo), 콴타 클라우드 테크롤로지(QCT), 슈퍼마이크로(Supermicro) 등의 시스템에서 사용할 수 있습니다. BlueField-3의 성장하는 에코시스템에는 아리아 사이버시큐리티 솔루션즈(Aria Cybersecurity Solutions), 캐노니컬(Canonical), 체크포인트 소프트웨어(Check Point Software), 시스코(Cisco), OVHcloud, 레드햇(Red Hat), 스택패스(StackPath), 클라우드플레어(Cloudflare), 데이터디렉트 네트웍스(DDN), F5, 포티넷(Fortinet), 주니퍼 네트웍스(Juniper Networks), 네뷸론(Nebulon), 넷앱(NetApp), 뉴타닉스(Nutanix), VAST 데이터(VAST Data), VMware, WEKA를 포함한 24개 이상의 인프라 파트너가 포함됩니다.
NVIDIA 창립자 겸 CEO 젠슨 황(Jensen Huang)의 NVIDIA GTC 2023 키노트에서 NVIDIA BlueField DPU와 NVIDIA DOCA에 대해 자세히 알아보세요.
이 블로그에 열거된 SDK의 대부분의 독점 액세스, 얼리 액세스, 기술 세션, 데모, 교육 과정, 리소스는 NVIDIA 개발자 프로그램 회원은 무료로 혜택을 받으실 수 있습니다. 지금 무료로 가입하여 NVIDIA의 기술 플랫폼에서 구축하는 데 필요한 도구와 교육에 액세스하시고 여러분의 성공을 가속화 하세요.
