생산 규모에서의 추론을 위한 모델
머신러닝 모델을 구축에는 많은 노력이 필요합니다. 예측해야 할 변수를 식별하는 것부터 최상의 모델 아키텍처를 찾는 실험, 올바른 교육 데이터 샘플링에 이르기까지 다양한 과제가 있습니다. 그런데 접속이 안된다면??
NVIDIA Triton 추리 서버 입장하기. NVIDIA Triton 은 데이터 과학자와 시스템 관리자가 모델을 훈련하는 데 사용하는 것과 동일한 시스템을 웹 서버로 전환하여 모델 예측을 수행할 수 있도록 지원합니다. 또한 NVIDIA Triton 추리 서버는 설치된 여러 개의 GPU 를 이용하여 대량의 요청을 신속하게 처리할 수 있습니다.
NVIDIA DLI(Deep Learning Institute)는 NVIDIA Triton의 라이브 서버로 실습하기 위해 4시간 분량의 자기 주도 학습 과정을 제공합니다.
MLOps 개요
NVIDIA Triton는 머신러닝 오퍼레이션(MLOps)을 고려하여 개발되었습니다. MLOps는 운영 환경에서 머신러닝 모델을 확장하고 유지하는 데 초점을 맞추기 위해 DevOps에서 개발된 비교적 새로운 분야입니다. NVIDIA Triton은 롤백이 용이하도록 모델 버전 제어 기능을 제공합니다. 또한 지연 시간 및 요청 수와 같은 서버 지표를 추적하고 관리하기 위해 Prometheus와도 호환됩니다.
과정 정보
이 과정은 MLOps를 소개하고 라이브 NVIDIA Triton 추론 서버 실습을 포함합니다.
학습 목표는 다음과 같습니다.
- 각종 프레임워크의 신경 네트워크를 실시간 NVIDIA Triton 서버에 배포
- Prometheus를 사용하여 GPU 의 사용률과 기타 지표를 측정
- 비동기 요청을 전송하여 처리량 극대화
학습 완료시 개발자는 NVIDIA Triton 서버에 자신의 모델을 배포할 수 있습니다.
자세한 실습 교육은 DLI 딥러닝 과정을 참조하세요.
