주요 소식

NVIDIA GTC 2023에서 선보인 NVIDIA AI 소프트웨어 업데이트 소식

Reading Time: 6 minutes

NVIDIA GTC 2023에서 공개된 NVIDIA AI 소프트웨어 제품군의 주목할 만한 업데이트가 개발자들의 컴퓨팅 가속화를 책임집니다. 이번 업데이트는 NVIDIA RAPIDS와 NVIDIA Triton, CV-CUDA 등으로 데이터 사이언스 워크로드와 모델 분석, AI 이미징과 컴퓨터 비전 분야의 비용을 절감합니다.

NVIDIA 창립자 겸 CEO인 젠슨 황(Jensen Huang)의 GTC 2023 키노트를 시청하고 NVIDIA SDK의 최신 발전상을 확인하세요.

아파치 스파크용 NVIDIA RAPIDS 가속기

이제 NVIDIA AI Enterprise 3.1 소프트웨어 제품군에서 아파치 스파크(Apache Spark)용 NVIDIA RAPIDS 가속기를 만나볼 수 있습니다. 아파치 스파크 3으로 데이터 처리와 분석, 모델 훈련을 가속하면서도 별도의 코드 변경이 필요 없고, 인프라 비용이 절감됩니다.

주요 업데이트 내용은 다음과 같습니다.

  • 주요 플랫폼과의 통합: 구글 클라우드 플랫폼(Google Cloud Platform, GCP)의 데이터프록(Dataproc)과 아마존(Amazon) EMR, 애저(Azure)와 아마존 웹 서비스(AWS)의 데이터브릭(Databricks), 클라우데라(Cloudera)
  • Accelerated Spark Analysis Tool의 비용 절감 예측과 최적화 GPU 파라미터 추천을 통한 워크로드 속도 개선 극대화
  • NVIDIA AI Enterprise가 제공하는 확실한 응답 시간과 우선 순위 보안 알림, NVIDIA의 데이터 사이언스 전문가 지원

지금 무료 상담을 신청하여 여러분이 가진 아파치 스파크 워크로드의 GPU 가속을 평가하고, 평균 4배 빠른 클러스터를 구성하는 방법을 배우세요.RAPIDS RAFT 사용자 가이드

다음의 GTC 세션을 확인해보세요.

NVIDIA RAPIDS

대규모 언어 모델(LLM)과 추천 시스템, 컴퓨터 비전 등의 활용 사례에서 벡터 검색 단계의 중요성이 점차 커지고 있습니다. GTC 2023에서 NVIDIA가 발표한 RAPIDS RAFT는 구성이 손쉬운 가속 머신 러닝(ML) 빌딩 블록을 제공하는 툴키트로 벡터 검색 강화를 지원합니다.

RAPIDS RAFT 통합을 통해 벡터 데이터베이스와 검색 엔진은 이제 인덱스 구축과 데이터 로딩, 다양한 쿼리 유형의 실행과 같은 작업에서 월등한 성능 향상을 달성할 수 있습니다.

RAPIDS RAFT의 주요 기능은 다음과 같습니다.

  • GPU에서 정확/근사 최근접(Exact and Approximate Nearest Neighbor) 프리미티브(primitive)들을 가속해 벡터 검색 활용 사례의 속도 개선.
  • RAFT 기반 인덱스 구축의 경우 CPU 기반 구현의 95배, 초당 쿼리 처리 속도의 경우 3배까지 가속 가능.

NVIDIA는 이미 파이스(FAISS)와 밀부스(Milvus), 레디스(Redis)와 협업하고, 그 사용자들에게 RAFT를 기반으로 개선된 벡터 검색 성능을 제공하고 있습니다. 또한 RAFT로 최적화한 밀부스 GPU 기반 백엔드가 곧 출시될 예정입니다.

RAPIDS RAFT의 벡터 검색 기능과 그 외 다양한 성능에 대한 더 자세한 내용은 와/rapidsai/raft 깃허브 레포에서 확인하세요.

다음의 GTC 세션을 확인해보세요.

NVIDIA CV-CUDA

2023년 4월에 오픈 베타 출시를 앞둔 CV-CUDA는 AI 컴퓨터 비전용 GPU 가속 사전/사후 처리 파이프라인을 클라우드 규모로 구축하게 해줄 새로운 오픈 소스 라이브러리입니다.

주요 내용은 다음과 같습니다.

  • 30개 이상의 컴퓨터 비전 운영자가 C/C++와 파이썬 API로 오브젝트 감지와 세그먼테이션, 분류 워크플로우를 가속
  • 가변 형태 이미지(variable-shape image)들의 배칭 지원
  • TensorFlow나 파이토치(PyTorch)와 복사 없이 통합해주는 DL팩(DLPack)과 CUDA 어레이 인터페이스
  • 단일 라인의 PIP 설치와 PyPi 가용성 제공
  • CV-CUDA와 TensorRT, VPF로 영상의 인코딩과 디코딩 진행하는 NVIDIA Triton Inference Server 예제

더 자세한 정보는 /CV-CUDA 깃허브 레포를 참고하세요.

다음의 GTC 세션을 확인해보세요.

NVIDIA cuLitho

컴퓨팅 리소그래피(lithography)를 위한 소프트웨어 라이브러리인 cuLitho는 반도체 제조 분야 최대의 워크로드를 NVIDIA Hopper GPU상에서 40배 빠르게 처리합니다.

반도체 산업이 제조 테크놀로지의 첨단화를 지속적으로 압박하는 상황에서 물리학의 한계로 직면하는 문제들 또한 늘고 있는데요. 이런 부분들은 광학 근접 보정(OPC)과 여러 컴퓨팅 리소그래피 기법들을 활용해 벌충해야 하죠. 이 복잡한 기법들의 애플리케이션이 업계 최대 규모의 컴퓨팅 워크로드로 자리매김하는 추세입니다.

NVIDIA cuLitho는 현재의 CPU 기반 기법들보다 어마어마하게 규모가 큰 반도체 제조 공정과 GPU 가속 컴퓨팅 리소그래피에 맞춰 최적화한 툴과 알고리즘을 갖춘 라이브러리입니다.

주요 내용은 다음과 같습니다.

  • 마스크(mask) 생성 시간을 2주에서 8시간으로 단축
  • 데이터센터 간소화: 공간은 8분의1, 비용은 4분의1, 전력은 9분의1로 절감
  • 곡선형 OPC와 High-NA EUV 등의 새로운 리소그래피 솔루션 지원

더 자세한 내용과 파트너사들의 평가는 NVIDIA cuLitho를 참고하세요.

다음의 GTC 세션을 확인해보세요.

NVIDIA Triton

오픈 소스 추론 서비스 소프트웨어인NVIDIA Triton Inference Server가 주요 업데이트를 통해 프로덕션급 애플리케이션 전반에 빠르고 확장 가능한 AI를 제공합니다. NVIDIA Triton에는 작년에만 66개의 기능이 추가된 바 있습니다.

소프트웨어 업데이트 내용은 다음과 같습니다.

  • 간편한 인터페이스 PyTriton이 NVIDIA Triton의 네이티브 파이썬 코드 실행을 지원해 신속한 프로토타이핑과 파이썬 기반 모델의 손쉬운 마이그레이션 보장.
  • Model Analyzer로 모델 앙상블과 동시 분석 지원.
  • 패들패들(Paddle Paddle) 지원, 패들패들 패스트디플로이(FastDeploy)와 통합.
  • FasterTransformer 백엔드가 버트(BERT)와 허깅 페이스 블룸(Hugging Face BLOOM), GPT의 FP8 형식을 지원.
  • NVIDIA Triton 관리 서비스(얼리 액세스) 기반 모델 자동화와 리소스 효율성 조정으로 규모에 맞는 추론 실현.

사용자 환경을 따로 마련하지 않고도 NVIDIA LaunchPad에 단기로 액세스해 여러분의 추론 여정을 시작할 수 있습니다.

NVIDIA Triton을 시작하고 엔터프라이즈급 지원을 받으세요.

다음의 GTC 세션을 확인해보세요.

NVIDIA TensorRT

고성능 딥 러닝 추론을 위한 SDK인 NVIDIA TensorRT의 딥 러닝 추론 옵티마이저와 런타임은 추론 애플리케이션의 지연 시간을 줄이고 처리량은 높입니다.

새롭게 추가된 기능은 다음과 같습니다.

  • 생성형 AI 확산 모델과 트랜스포머 모델을 위한 성능 최적화  
  • 다양한 GPU 아키텍처(NVIDIA Ampere 아키텍처 이상)에서 구축과 실행이 가능하도록 하드웨어 호환성 강화
  • TensorRT 8.6 이상의 버전에서 버전 간 구축과 실행이 가능한 버전 호환성
  • GPT-3 모델을 위한 다중 GPU, 다중 노드 추론의 얼리 액세스

사용자 환경을 따로 마련하지 않고도 NVIDIA LaunchPad에 단기로 액세스해 여러분의 추론 여정을 시작할 수 있습니다.

TensorRT를 시작하고 엔터프라이즈급 지원을 받으세요.

다음의 GTC 세션을 확인해보세요.

NVIDIA TAO Toolkit

TAO Toolkit 업데이트와 함께 전이 학습(transfer learning)의 위력과 효율을 활용해 최첨단의 정확도와 프로덕션급 처리량을 어느 플랫폼에서나 달성할 수 있게 됐습니다. 이 로우코드(low-code)의 AI 툴킷은 입문자에서 전문 데이터 사이언티스트에 이르기까지 모든 기술 수준의 비전 AI 모델 개발을 가속합니다.

이번 업데이트의 주요 내용은 다음과 같습니다.

  • 이미지 분류와 오브젝트 감지, 세그먼테이션 작업을 위한 최첨단 비전 트랜스포머를 새롭게 제공
  • 자동 생성 세그먼테이션 마스크를 위한 AI 기반 주석 도구 제공
  • 개방형 신경망 교환(ONNX) 모델 내보내기를 통해 GPU와 CPU, MCU 등 모든 장치에 TAO 모델을 배포 가능
  • TAO의 오픈 소스 제공으로 AI의 투명성과 설명 가능성 증진

더 자세한 내용은 ‘NVIDIA TAO Toolkit 5.0을 사용한 최신의 비전 AI 모델 개발 워크플로우에 액세스하기’를 참고하세요. 여러분의 AI 모델을 TAO Toolkit으로 커스터마이징하고 LaunchPad에서 사용해보세요.

다음의 GTC 세션을 확인해보세요.

NVIDIA DeepStream

NVIDIA가 내놓은 최신 버전의 DeepStream은 새로운 런타임을 추가합니다. 이를 통해 신기능들을 지원하고, 엄격한 스케줄링 솔루션이 필요한 활용 사례들을 새롭게 개척합니다. 기존의 DeepStream 사용자들은 하드웨어 가속 플러그인의 장점을 계속 누리면서 스마트한 자동화와 Industry 5.0에 걸맞은 활용 사례의 개발을 시작할 수 있습니다.

업데이트 내용은 다음과 같습니다.

  • 새로운 가속 엑스텐션(extension)
  • 고급 스케줄링 옵션이 추가된 새로운 런타임
  • 가속 플러그인 업데이트

더 자세한 내용은 ‘NVIDIA DeepStream SDK 시작하기를 참고하고, LaunchPad에서 사용해보세요.

다음의 GTC 세션을 확인해보세요.

NVIDIA Quantum

NVIDIA는 양자 컴퓨팅 시뮬레이션과 하이브리드 양자-전통 알고리즘 개발, 하이브리드 시스템 배포의 가속화를 위한 NVIDIA Quantum 플랫폼의 최신 버전을 발표했습니다.

CuQuantum은 양자 컴퓨팅 생태계가 양자 우위(quantum advantage)로 문제들을 해결할 미래를 위해 알고리즘 개발, 양자 하드웨어의 설계와 검증을 지원합니다.  

CuQuantum의 주요 내용은 다음과 같습니다.

  • DGX cuQuantum 어플라이언스에서 다중 노드, 다중 GPU 지원
  • 근사 텐서 네트워크 기법 지원
  • 클라우드 서비스 제공 업체(CSP)와 산업 양자 그룹들의 지속적인 cuQuantum 도입

NVIDIA는 또한 하이브리드 양자-전통 컴퓨팅을 위한 개방형 QPU 애그노스틱(agnostic) 플랫폼인 NVIDIA CUDA Quantum의 GA 버전을 공개했습니다. 이 하이브리드 양자-전통 프로그래밍 모델은 오늘날 가장 중요한 과학 컴퓨팅 애플리케이션들과 상호 운용이 가능해 이 분야의 과학자와 연구자들이 양자 컴퓨터 프로그래밍에 대거 진출할 수 있게 지원합니다.

CUDA Quantum의 주요 내용은 다음과 같습니다.

  • 하이브리드 시스템과 양자 알고리즘 프리미티브의 표준 라이브러리를 위한 컴파일러 툴체인, 싱글 소스 C++와 파이썬 구현(implementation)
  • QPU 애그노스틱 방식으로 양자 하드웨어 기업들과 제휴해 큐비트 처리 능력이 서로 다른 QPU들을 광범위하게 지원
  • NVIDIA A100 GPU에서 실행되는 유수의 파이썬 프레임워크보다 최대 300배 빠른 성능 제공

GTC 2023에서 NVIDIA와 퀀텀 머신스(Quantum Machines)는 세계에서 가장 강력한 가속 컴퓨팅 플랫폼과 가장 진일보한 양자 컨트롤러를 결합하는 협업 프로젝트인 DGX Quantum을 발표했습니다. 퀀텀 머신스와 NVIDIA는 고성능과 저지연의 양자-전통 컴퓨팅을 위한 아키텍처를 최초로 개발해 양자 컴퓨팅 분야의 발전에 기여할 것입니다.

DGX Quantum의 주요 내용은 다음과 같습니다.

  • PCIe로 연결하는 OPX+ NVIDIA Grace Hopper 시스템을 제공하고 QPU의 규모에 따라 확장이 가능한 래퍼런스 아키텍처
  • CUDA Quantum과 QUA, 퀀텀 머신스 스택을 통합하고 개념 검증(POC) 벤치마크 제공
  • 2023년 4분기에 최초로 배포될 QGX로 QCC를 발표

더 자세한 내용은 NVIDIA CUDA Quantum 페이지를 참고하세요.

다음의 GTC 세션을 확인해보세요.

NVIDIA Modulus

물리 정보 기반 머신 러닝(physics-ML) 모델 개발 플랫폼인 NVIDIA Modulus가 이제 데이터 중심 신경 연산자 아키텍처를 갖추고, 포캐스트넷(FourCastNet)과 같은 글로벌 규모 날씨 예측 모델의 훈련을 지원합니다. NVIDIA AI 소프트웨어 스택을 사용해 AI 연구와 산업 규모의 프로덕션 배포 모두에 최고의 성능과 확장성을 제공합니다.

NVIDIA Modulus는 데이터 중심과 물리 중심 접근법, 그리고 서로 다른 도메인들을 모두 아우를 수 있게 확장한 기능들을 갖췄습니다. 전산 유체 역학(CFD)과 구조 분석, 전자기학에 이르기까지 광범위한 애플리케이션의 문제들을 해결할 수 있죠.

NVIDIA Modulus는 간단한 아파치 2.0 라이선스의 오픈 소스로 제공됩니다.

래퍼런스 애플리케이션용으로 physics-ML 모델을 개발하는 방법과 함께 Modulus를 자유롭게 활용해 여러분의 분야를 개발하고 개선에도 기여할 수 있습니다. 함께 제공되는 오픈 소스 저장소는 모듈러스 런치(modulus-launch)를 사용하는 네이티브 파이토치 개발자부터 심볼릭 편미분방정식(PDE)의 측면에서 생각하며 모듈러스 심(modulus-sym)을 쓰는 엔지니어에 이르기까지, 여러 사용자의 다양한 워크플로우에 적합합니다.

/NVIDIA/modulus 깃허브 레포에서 Modulus의 소스 코드를 다운로드하세요.

Modulus Open Source에 대한 더 자세한 내용은 ‘물리 정보 기반 머신 러닝 플랫폼 NVIDIA Modulus, 이제 오픈 소스로 제공’을 참고하세요.

다음의 GTC 세션을 확인해보세요.

이 블로그에 열거된 SDK의 대부분의 독점 액세스, 얼리 액세스, 기술 세션, 데모, 교육 과정, 리소스는 NVIDIA 개발자 프로그램 회원은 무료로 혜택을 받으실 수 있습니다. 지금 무료로 가입하여 NVIDIA의 기술 플랫폼에서 구축하는 데 필요한 도구와 교육에 액세스하시고 여러분의 성공을 가속화 하세요.

Discuss (0)

Tags