NVIDIA TAO Toolkit은 어떤 솔루션인가요?
AI/머신 러닝 모델을 처음부터 만들려면 엄청난 양의 데이터와 수많은 데이터 과학자가 필요합니다. 하지만 이제는 기존 신경망 모델에서 학습된 기능을 추출하여 새로운 맞춤형 모델에 적용하는 주요 기법인 transfer learning을 통해 모델 개발을 가속할 수 있습니다.
TensorFlow와 PyTorch를 기반으로 하는 NVIDIA TAO Toolkit은 AI/딥 러닝 프레임워크의 복잡성을 없애 모델 훈련 프로세스를 가속하는 NVIDIA TAO 프레임워크의 로코드 버전입니다. TAO Toolkit을 사용하면 AI 전문 지식이나 대규모 훈련 데이터 세트 없이도 전이 학습의 이점을 활용해 자체 데이터로 NVIDIA의 사전 훈련된 모델을 미세 조정하고 추론에 맞춰 최적화할 수 있습니다.
주요 이점
모델을 손쉽게 훈련
TAO Toolkit은 Jupyter Notebook으로 모델을 훈련할 수 있는 로코드 솔루션으로, AI 프레임워크에 대한 전문 지식이 필요하지 않습니다.
고정밀 AI 구축
NVIDIA의 사전 훈련된 모델과 모델 아키텍처를 사용하면 사용 사례에 맞는 매우 정확한 맞춤형 AI 모델을 생성할 수 있습니다.
추론에 맞게 최적화
맞춤화에 그치지 않고 추론에 맞게 모델을 최적화하여 추론 성능을 최대 4배까지 높일 수 있습니다.
사전 훈련된 AI 모델이란 무엇인가요?
사전 훈련된 AI 모델 은 대표 데이터 세트에서 훈련되고, 가중치와 편향을 고려해 미세 조정된 모델입니다. 처음부터 훈련시키는 것보다 적은 수의 실제 데이터 또는 합성 데이터를 사용해 이러한 모델을 쉽고 빠르게 맞춤화할 수 있습니다.
비전 AI를 위해 사전 훈련된 모델
NVIDIA에 최적화된 모델 아키텍처를 100개 이상 이상 사용해 이미지 처리 및 분류, 물체 감지, 시맨틱 세그먼테이션과 같은 컴퓨터 비전 태스크를 위한 맞춤형 딥 러닝 모델을 생성할 수 있습니다.
또한 태스크 기반 모델을 사용해 사람의 행동과 포즈를 인식하고, 혼잡한 공간에서 사람을 감지하며, 차량과 번호판을 감지 및 분류하는 등 다양한 작업을 수행할 수 있습니다.
대화형 AI를 위해 사전 훈련된 모델
자동음성인식(ARS), 자연어처리(NLP) 및 텍스트 음성 변환(TTS) 기반 모드를 미세 조정하여 개별 맞춤형 실시간 콜센터 환경과 스마트 키오스크, 기타 대화형 AI 서비스를 구축할 수 있습니다.
NGC에서 Jupyter Notebook 다운로드하기주요 특징
Rest APIs를 사용해 애플리케이션에 TAO Toolkit 통합
Kubernetes의 최신 클라우드 네이티브 인프라에 TAO Toolkit을 배포하고 REST APIs를 사용하여 애플리케이션에 이를 통합할 수 있습니다. AI 서비스를 새로 구축하거나 TAO Toolkit을 기존 서비스에 통합하여 이종 툴 간에 자동화를 구현할 수 있습니다.
자세히 알아보기.jpg "Workflow for running TAO Toolkit as-a-Service with REST APIs")
.jpg "Workflow to show importing ONNX model weights to TAO Toolkit for fine-tuning.")
ONNX 모델 가중치 가져오기
ONNX 모델에서 자체 분류 및 세그멘테이션 모델 가중치를 TAO Toolkit으로 가져와 미세 조정과 최적화를 손쉽게 수행할 수 있습니다.
데모 보기.jpg "Generalize model with Data Augmentation features.")
.jpg "A visual chart to show the demo of TensorBoard Viz.")
TensorBoard를 통한 시각화
훈련 및 검증 손실, 정확도, 모델 가중치, 예측 이미지 등의 스칼라 데이터를 시각화함으로써 모델이 수렴하는 방식을 이해할 수 있습니다.
자세히 알아보기 .jpg "TAO Toolkit can be integrated with NVIDIA DeepStream and RIVA.")
DeepStream 및 Riva 지원
TAO Toolkit에서 생성된 최적화된 모델을 비전 AI용 NVIDIA DeepStream SDK 와 음성 AI용 Riva에 쉽게 통합할 수 있기 때문에 성능을 높이고 애플리케이션 개발을 가속할 수 있습니다.
DeepStream에 통합하기 Riva에 통합하기NVIDIA AI Enterprise를 통한 프로덕션 AI
글로벌 NVIDIA 엔터프라이즈 지원 서비스는 엔드-투-엔드 AI 소프트웨어 제품군인 NVIDIA AI Enterprise와 함께 TAO Toolkit에서 제공되며, 여기에는 응답 시간 보장, 우선 보안 알림, 정기 업데이트, NVIDIA AI 전문가 지원 등이 포함됩니다.
NVIDIA H100을 사용하고 있다면 NVIDIA H100 통합 메인스트림 서버에 포함되어 있는 NVIDIA AI Enterprise 소프트웨어를 활성화하는 방법을 알아보세요.
NVIDIA LaunchPad를 통해 TAO Toolkit과 NVIDIA AI Enterprise를 무료로 체험해보세요. 여기에서 가입하세요.
추론 성능
NVIDIA Jetson을 이용하는 에지에서부터 NVIDIA Ampere 아키텍처 GPU를 이용하는 클라우드에 이르기까지 플랫폼 전반에 걸쳐 NVIDIA의 사전 훈련된 모델을 통해 추론 성능을 극대화할 수 있습니다. 배치 크기와 기타 모델에 대한 자세한 내용은 성능 상세 데이터시트 에서 확인하세요.
|
|
|
|
|
|
|
|
||||
|---|---|---|---|---|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
고객 성공 사례
.jpg "OneCup AI Customer Story")
OneCup AI
OneCup AI의 컴퓨터 비전 시스템은 NVIDIA의 사전 훈련된 모델과 TAO Toolkit을 사용해 동물의 활동을 추적 및 분류함으로써 개발 시간을 몇 달에서 몇 주로 대폭 단축합니다.
RocketBoots
RocketBoots는 NVIDIA의 TAO Toolkit과 사전 훈련된 모델을 사용해 자동화된 인력 관리 솔루션의 추론 성능을 개선합니다.
Floatbot
Floatbot은 맞춤화된 싱가포르 영어 음성 AI 애플리케이션에 NVIDIA Riva와 NVIDIA TAO를 사용하여 전 세계 보험사 및 금융 고객을 위한 콜 센터를 자동화합니다.
선도적인 기술 채택사
자주묻는 질문
TAO에는 두 가지 버전이 있습니다.
- TAO의 로코드 버전인 TAO Toolkit
- 현재 개발 중인 GUI 기반의 로코드 솔루션입니다. 여기에서 얼리 액세스를 신청하세요.
지원되는 모델 아키텍처의 전체 매트릭스는 여기에서 확인할 수 있습니다.
- 비전 모델은 DeepStream을 통해 배포 가능
- 음성 모델은 Riva를 통해 배포 가능
- Triton Inference Server를 통해서도 배포 가능
자세한 배포 정보는 설명서 섹션을 참조하시기 바랍니다.
리소스
새로운 개발자 블로그
Isaac Sim과 NVIDIA TAO와 함께 AI 기반 로봇을 개발하고 배포합니다.
백서
이전송 학습을 통해 AI 워크플로우를 조정하고 강화하는 다양한 방법을 배우세요.
GTC 웨비나
TAO Toolkit을 통해 개발자가 데이터 문제를 해결하고 최소의 코딩으로 모델을 미세 조정하는 방법을 알아보세요.