GTC 2022에서 NVIDIA는 개발자들이 실시간 음성 AI 애플리케이션을 구축하고, 규모에 맞는 고성능 추천 시스템을 만들고, 모든 애플리케이션에서 추론을 최적화할 수 있는 NVIDIA AI 소프트웨어 제품군의 주요 업데이트를 발표했습니다. CEO인 Jensen Huang의 키노트를 통해 NVIDIA의 최신 발표에 대해 알아보세요.
NVIDIA Riva 2.0을 소개합니다
NVIDIA는 일반 Riva 2.0을 발표했습니다. Riva는 모델, 툴 및 실시간 애플리케이션을 위해 완전히 최적화된 음성 인식 및 텍스트-투-스피치 파이프라인을 제공하는 가속 음성 AI SDK입니다.
주요 내용은 다음과 같습니다:
- 세계 최고 수준의 7개 언어 자동 음성 인식
- 신경 기반의 텍스트를 인간과 같은 목소리의 음성으로 변환
- TAO Toolkit 및 NeMo를 사용한 도메인별 커스터마이즈
- 클라우드, 온프리미어 및 임베디드 플랫폼에서의 실행
NVIDIA also announced Riva Enterprise, providing enterprises with large-scale deployments access to speech experts at NVIDIA. Enterprises can try Riva with guided labs on ready to run infrastructure in LaunchPad.
추가로 NVIDIA는 자사의 스피치 전문가에의 대규모 도입도 가능하게 하는 Riva Enterprise를 발표했습니다.기업은 LaunchPad의 인프라스트럭처를 즉시 실행할 수 있는 가이드가 있는 랩을 사용하여 Riva를 시험해 볼 수 있습니다.
자세한 내용을 확인하려면 이 GTC 세션을 캘린더에 추가하세요:
NVIDIA Merlin 1.0. 하이퍼스케일 ML, CPU, GPU를 탑재한 DL 추천 시스템 발표
NVIDIA는 데이터 전처리, 기능 변환, 훈련, 최적화 및 도입에 이르기까지 추천자의 워크플로우를 가속화하는 엔드 투 엔드 프레임워크인 NVIDIA Merlin 1.0을 발표했습니다. 이 최신 NVIDIA Merlin 발표를 통해 데이터 사이언티스트와 머신러닝 엔지니어는 더 적은 코드로 더 빠르게 스케일업 할 수 있습니다. 새로운 기능은 기능 변환, 검색 및 순위 모델을 추론 마이크로 서비스로 사용하는 완전히 훈련된 추천시스템 파이프라인의 배치뿐만 아니라 기능, 모델에 대한 빠른 이터레이션을 제공합니다.
주요 내용은 다음과 같습니다:
- Merlin Models는 데이터 과학자가 50줄 미만의 코드로 추천 모델을 트레이닝 및 도입할 수 있는 새로운 라이브러리입니다.
- 머신 러닝 엔지니어를 위한 새로운 라이브러리인 Merlin 시스템은 앙상블 Triton 마이크로 서비스로 추천시스템 파이프라인을 쉽게 배포합니다.
- 대규모 멀티 GPU, 멀티 노드 추론 및 컴퓨팅 집약도가 낮은 워크로드 지원
최신 릴리스에 대한 더 자세한 정보를 위해서는, NVIDIA Merlin을 다운 받고 사용해보세요.
자세한 내용을 확인하려면 이 GTC 세션을 캘린더에 추가하세요:
- Building and Deploying Recommender Systems Quickly and Easily with NVIDIA Merlin (NVIDIA)
- Scaling Real-time Deep Learning Recommendation Inference at a 150M+ User Scale (ShareChat)
- Large-scale Recommendation System on GPU at Life-Service Scenario (Meituan)
- Building Recommender Systems More Easily using Merlin Models (NVIDIA)
NVIDIA Triton의 새로운 기능
NVIDIA는 NVIDIA Triton의 새로운 주요 업데이트를 발표했습니다. Triton은 생산 중인 모든 애플리케이션에 빠르고 확장 가능한 AI를 제공하는 오픈 소스 추론 서비스 소프트웨어입니다.
주요 내용은 다음과 같습니다:
- Triton FIL 백엔드: 섀플리 값과 CPU 최적화를 통한 모델 설명가능성(expalinability)으로 성능을 향상시킵니다.
- Kubernetes에서 일련의 Triton 인스턴스 설정 및 관리를 단순화하고 자동화하기 위한 Triton 관리 서비스. 알파 릴리즈는 3월 말 목표로 하고 있습니다.
- Triton 모델 내비게이터는 Triton을 사용한 생산 배치를 위한 훈련 모델 준비를 자동화합니다.
- 엣지 전개를 위한 Fleet Command 통합.
- MLFlow 모델을 배치하기 위한 AWS Interiia 및 MLFlow 플러그인 추론 지원.
- NVIDIA LaunchPad에서 Triton 환경을 직접 설정할 필요 없이 즉시 단기 액세스하여 Triton 여정을 시작할 수 있습니다.
- NGC 카탈로그에서 Triton을 다운로드하고 GitHub에서 코드와 문서에 액세스할 수 있습니다.
NGC 카탈로그에서 Triton을 다운로드하고 GitHub에서 코드와 문서에 액세스할 수 있습니다.
자세한 내용을 확인하려면 이 GTC 세션을 캘린더에 추가하세요:
- Fast, Scalable, and Standardized AI Inference Deployment for Multiple Frameworks, Diverse Models on CPUs and GPUs with Open-source NVIDIA Triton
- Optimal AzureML Triton Model Deployment using the Model Analyzer
NVIDIA NeMo Megatron의 신기능
NVIDIA는 대규모 언어 모델(LLM)을 훈련하기 위한 프레임워크인 NVIDIA Nemo Megatron의 최신 버전을 발표했습니다. Nemo Megatron과 함께 연구 기관과 기업은 LLM을 위한 가장 빠른 훈련을 달성할 수 있습니다. 또한 최신 병렬 처리 기술, 데이터 전처리 스크립트 및 트레이닝 컨버전스를 보장하기 위한 방법도 확인하실 수 있습니다.
주요 내용은 다음과 같습니다:
- Hyper parameter tuning tool that automatically creates recipes based on customers’ needs and infrastructure limitations.
- Reference recipes for T5 and mT5 models.
- Cloud support for Azure.
- Distributed data preprocessing scripts to shorten end-to-end training time.
- 고객의 요구와 인프라의 제한에 따라 자동으로 레시피를 작성하는 하이퍼 파라미터 조정 툴.
- T5 및 mT5 모델 레퍼런스
- Azure 클라우드 지원
- 분산된 데이터 전처리 스크립트를 통해 엔드 투 엔드 교육 시간 단축
얼리 엑세스를 신청하려면 여기를 클릭하세요.
자세한 내용을 확인하려면 이 GTC 세션을 캘린더에 추가하세요:
- Building Large-scale, Localized Language Models: From Data Preparation to Training and Deployment to Production
- How to Avoid the Staggering Cost of Training State-of-the-art Large Language Models
- Connect with the Experts: Conversational AI: Build Applications with Riva and Train Multibillion Parameter Language Models using Nemo-Megatron
NVIDIA Maxine의 새로운 기능
NVIDIA는 최신 버전의 NVIDIA Maxine을 발표했습니다. NVIDIA Maxine은 GPU 액셀러레이션 SDK 스위트로, AI에 의한 오디오 및 비디오 통신을 재창조하고, 선명한 온라인 통신을 위한 표준 마이크와 카메라의 수준을 향상합니다. Maxine은 맞춤형 엔드 투 엔드 딥 러닝 파이프라인에 구축될 수 있는 최첨단 실시간 AI 오디오, 비디오 및 증강현실 기능을 제공합니다.
주요 내용은 다음과 같습니다:
- 오디오 슈퍼 해상도: 오디오 입력 스트림을 8kHz에서 16kHz로, 16kHz에서 48kHz로 업샘플링하여 실시간 오디오 품질을 향상시킵니다.
- 음향 에코 제거: 입력 오디오스트림에서 실시간 음향 디바이스 에코를 취소하여 어쿠스틱페어와 더블톡을 제거합니다. AI 기반 기술로 기존 디지털 신호 처리보다 더 효과적인 취소가 가능합니다.
- 노이즈 제거: 최첨단 AI 모델을 사용하여 일반적인 배경 노이즈를 제거하고 스피커의 자연스러운 음성을 유지합니다.
- 룸 에코 제거: 최첨단 AI 모델을 사용하여 오디오의 에코를 제거하여 스피커의 음성을 선명하게 합니다.
지금 바로 NVIDIA Maxine을 다운로드하세요..
자세한 내용을 확인하려면 이 GTC 세션을 캘린더에 추가하세요:
- How Zoom Video uses Distributed Model Training in Kubernetes Cluster
- How Avaya’s Real-time Cloud Media Processing Core Maintains Ultra-low Latency with Maxine
- Project Starline: A High-fidelity Telepresence System
- Put Your Body into It! Easy Talent Tracking in Virtual Environments
지금 바로 GTC에 등록하고 최신 GPU 가속 AI 기술에 대한 업데이트를 확인하세요.
