CUDA 툴킷의 최신 릴리스는 최신 NVIDIA GPU를 사용하여 가속 컴퓨팅 성능의 한계를 계속 넓혀가고 있습니다. 이번 릴리스인 버전 12.3의 새로운 기능은 다음과 같습니다:
- Windows에서 지연 로딩 기본값
- Windows에서 단일 단계 CUDA 제거
- 향상된 NVIDIA Nsight 컴퓨팅 및 NVIDIA Nsight 시스템 개발자 도구
CUDA와 CUDA 툴킷은 데이터 사이언스, 머신 러닝 및 딥 러닝, 훈련 및 추론을 위한 LLM을 갖춘 생성형 AI, 그래픽 및 시뮬레이션, 과학 컴퓨팅 분야의 모든 가속 컴퓨팅 애플리케이션을 위한 토대를 지속적으로 제공합니다. CUDA는 세계에서 가장 복잡한 컴퓨팅 문제를 해결하는 데 기본이 됩니다.
NVIDIA Nsight 개발자 도구
최신 버전의 NVIDIA Nsight 개발자 도구가 CUDA 툴킷에 포함되어 있어 NVIDIA Grace Hopper 플랫폼에서 CUDA 애플리케이션을 최적화하고 디버깅하는 데 도움을 줍니다.
Nsight 컴퓨팅
Nsight Compute는 CUDA 커널에 대한 자세한 프로파일링 및 분석을 제공하며, 버전 2023.3은 CUDA 툴킷 12.3과 함께 출시됩니다. 이 버전에는 성능과 데이터 수집 및 분석 기능을 개선하는 기능이 포함되어 있습니다.
새로운 PM 샘플링 기능은 시간 상관 커널 성능 데이터를 추가합니다. 이전에는 대부분의 성능 메트릭이 전체 커널에 걸쳐 집계되었습니다. 자주 요청되는 이 기능은 사용자가 커널 내에서 단계적으로 발생하는 성능 문제와 테일 효과와 같은 시간적 효과를 발견하는 데 도움이 될 수 있습니다(그림 1). 이 기능은 --full 메트릭 세트에 포함되어 있습니다. GUI에서 PM 샘플링 섹션으로 추가하거나 CLI에 --section PmSampling 플래그를 추가하여 추가할 수 있습니다.
또한 Nsight Compute 2023.3에는 프로파일 간에 소스 코드 변경 사항을 비교하여 수정 사항이 소스 수준에서 성능에 어떤 영향을 미쳤는지 확인할 수 있는 기능이 도입되었습니다. 이 기능을 사용하려면 한 보고서를 기준선으로 설정하고 다른 보고서에서 소스 비교 버튼을 클릭하면 강조 표시된 소스 차이점과 관련 성능 메트릭을 볼 수 있습니다
커널을 컴파일할 때 소스 해상도를 활성화하고 소스 파일이 제자리에서 수정된 경우 --lineinfo 플래그를 사용합니다. 원본 소스 코드를 보존하려면 소스 가져오기 옵션 또는 --import-source 플래그를 사용합니다.
Nsight Compute 2023.3의 기능에 대해 자세히 알아보려면 Nsight Compute 시작하기를 참조하세요.
Nsight 시스템
CUDA 툴킷 12.3에는 통합 타임라인에서 하드웨어 메트릭과 CUDA 앱, API 및 라이브러리를 프로파일링하는 성능 튜닝 툴인 Nsight Systems 2023.3도 포함되어 있습니다.
최신 버전의 Nsight Systems는 NVIDIA Grace CPU를 지원하므로 애플리케이션 성능의 맥락에서 Grace CPU 주기를 자세히 살펴볼 수 있습니다. 또한 Nsight Systems 2023.3에는 GUI에서 네트워크 인터페이스 카드(NIC) 프로파일링을 비롯한 새로운 기능이 추가되었습니다.
서버의 하드웨어 장치 간에 데이터가 이동하는 주요 방법인 네트워크에서 인터노드 통신을 이해하면 병목 현상을 진단하는 데 도움이 됩니다. Nsight Systems는 NIC 처리량을 모니터링하여 송수신되는 바이트의 양을 차트로 표시합니다. NIC 대기 시간이 길어지면 인터노드 네트워크에 최적화가 필요하다는 강력한 신호입니다. 또한 Nsight Systems는 NVIDIA Quantum InfiniBand 스위치 처리량을 프로파일링할 수 있습니다.
Nsight 시스템 2023.3 기능에 대해 자세히 알아보려면 Nsight 시스템 시작하기를 참조하세요. Nsight 시스템이 데이터센터 규모의 개발을 지원하는 방법에 대해 자세히 알아보려면 NVIDIA Nsight 시스템으로 데이터센터 및 HPC 성능 분석 가속화를 참조하세요.
요약
CUDA 툴킷 12.3 릴리스는 가속 컴퓨팅을 위한 기본 NVIDIA 드라이버 및 런타임 소프트웨어를 강화하는 동시에 최신 NVIDIA GPU, 가속 라이브러리, 컴파일러 및 개발자 도구에 대한 향상된 지원을 계속 제공합니다.
자세한 내용은 CUDA 설명서를 참조하고, 최신 NVIDIA 딥 러닝 인스티튜트 과정을 확인하고, NGC 카탈로그를 검색하세요. CUDA 개발자 포럼에서 질문하고 대화에 참여하세요.
관련 리소스
- GTC 세션: CUDA 그래프 101
- GTC 세션: 매크로에서 마이크로까지: 모든 규모의 문제를 찾아 해결하는 CUDA 개발자 도구
- NGC 컨테이너: CUDA
- SDK: CUDA 툴킷
- SDK: cuFFTDx
- SDK: cuFFTXt
