간단한 API를 사용하여 사전 학습된 AI 파운데이션 모델을 제품 및 경험에 통합할 수 있는 기능 덕분에 개발자의 LLM 엔드포인트 및 애플리케이션 개발 프레임워크 사용이 크게 증가했습니다. 개발자와 엔지니어링 팀은 NVIDIA NIM을 통해 널리 사용되는 개발 툴과 프레임워크를 사용하여 자체 AI 모델 엔드포인트를 빠르게 배포하며 가속화된 생성형 AI 애플리케이션을 안전하게 개발할 수 있습니다.
개발자들이 개발 목적으로 NIM에 더 쉽게 액세스할 수 있기를 원한다는 의견을 반영하여 5백만 명 이상의 NVIDIA 개발자 프로그램 회원에게 개발, 테스트 및 연구를 위한 다운로드 가능한 NIM 마이크로서비스에 대한 무료 액세스를 제공합니다! 이제 NVIDIA 개발자 프로그램 회원은 가속화된 애플리케이션과 솔루션을 구축하는 데 도움이 되는 포괄적인 리소스, 교육, 도구 및 전문가 커뮤니티를 이용할 수 있습니다.
이 포스팅에서는 NIM 마이크로서비스에 대한 간략한 기술 개요, 다운로드 및 자체 호스팅 배포가 가능한 일부 마이크로서비스, 시작을 위한 실습 리소스를 제공합니다.
NIM 마이크로서비스란 무엇인가요?
NIM은 클라우드, 데이터센터, 워크스테이션에서 사전 학습되고 사용자 정의된 AI 모델을 위해 GPU 가속 마이크로서비스를 자체 호스팅하는 데 사용되는 컨테이너를 제공합니다. 단일 명령으로 배포할 수 있으며, 업계 표준 API를 자동으로 노출하여 애플리케이션, 개발 프레임워크 및 워크플로우에 빠르게 통합할 수 있습니다. 한 가지 예로 LLM(거대 언어 모델) 기반 NIM 마이크로서비스를 위한 OpenAI API 사양을 들 수 있습니다.
NVIDIA TensorRT 및 NVIDIA TensorRT-LLM으로 구축된 최적화된 추론 엔진은 짧은 응답 지연 시간과 높은 처리량을 제공합니다. 런타임에 NIM 마이크로서비스는 파운데이션 모델, GPU, 시스템의 각 조합에 대해 최적의 추론 엔진을 선택합니다. 또한 NIM 컨테이너는 표준 통합 가시성 데이터 피드와 NVIDIA GPU에서 Kubernetes 자동 확장을 위한 기본 지원을 제공합니다. NIM 기능 및 아키텍처에 대한 자세한 내용은 LLM용 NVIDIA NIM 설명서를 참조하세요.
모든 사용 사례에 맞는 NIM 마이크로서비스 다운로드
누구나 무료 크레딧으로 NVIDIA API 카탈로그에 가입하여 NVIDIA가 호스팅하는 NIM 엔드포인트를 통해 모델에 액세스할 수 있습니다. 하지만 NVIDIA 개발자 프로그램 회원은 이에 더 나아가 Meta의 Llama 3.1 8B, Mistral AI의 소형 Mistral 7B Instruct 등을 포함한 최신 다운로드 가능한 NIM 마이크로서비스에 무료로 액세스할 수 있습니다.
개발자 프로그램 회원은 최대 2개의 노드 또는 16개의 GPU에서 NIM 마이크로서비스를 사용할 수 있습니다. 프로덕션 환경에서 NIM을 사용할 준비가 되면 90일 무료 NVIDIA AI 엔터프라이즈 라이선스를 등록할 수 있습니다. 자세한 내용은 FAQ를 참조하세요.
다운로드 가능한 NIM 마이크로서비스 시작하기
NVIDIA API 카탈로그에서 마이크로서비스를 선택하고 이 NIM으로 구축하기를 선택하여 NIM 마이크로서비스를 다운로드하고 컨테이너용 API 키를 받습니다.
아직 프로그램 회원이 아닌 경우, 개발자 프로그램에 먼저 가입합니다. 자세한 내용은 시작하기 및 NVIDIA NIM을 사용한 생성형 AI 배포를 위한 간단한 가이드를 참조하세요.
간단한 배포를 통해 관리형 인프라에서 NIM 마이크로서비스를 직접 경험해보고 싶으시다면, NVIDIA API 키를 사용하여 GPU를 빠르게 프로비저닝하고, Llama 3.1 NIM 마이크로서비스를 다운로드하고, Jupyter 노트북 또는 엔드포인트 세트를 통해 상호 작용하는 NVIDIA Brev 런처블을 사용해 보세요. 호스팅된 NIM 마이크로서비스는 Hugging Face에서도 사용할 수 있습니다. 두 호스팅 솔루션 모두 시간당 요금이 책정됩니다.
자세한 내용은 다음 리소스를 참조하세요:
- NVIDIA NIM으로 LoRA 어댑터 스웜을 원활하게 배포하기
- GitHub 리포지토리 예제:
- /NVIDIA/GenerativeAIExamples
- NVIDIA NIM이 포함된 LLM RAG 에이전트의 경우 /langchain-ai/langchain-nvidia
- NVIDIA NIM이 포함된 LlamaIndex RAG 파이프라인을 위한 /run-llama
- Nemotron-4 340B를 사용한 합성 선호도 데이터 생성을 위한 /NVIDIA/NeMo-Curator
- RAG 및 NVIDIA AI 워크벤치를 사용하여 문서와 채팅하기 위한 /NVIDIA/workbench-example-hybrid-rag
- 자체 배포된 AI 모델과 NVIDIA NIM(Colab 노트북)이 포함된 Haystack RAG 파이프라인
NVIDIA 및 NIM 마이크로서비스 커뮤니티에 참여하려면 NVIDIA NIM 개발자 포럼을 참조하세요. 여러분의 의견을 기다리며 여러분이 구축한 것을 보고 싶습니다!
관련 리소스
- GTC 세션: 강력한 개발자 도구로 CUDA 디버깅 및 성능 이해하기
- NGC 컨테이너: NMT Megatron Riva 1b
- NGC 컨테이너: NVIDIA 검색 QA Mistral 4B Reranking v3
- NGC 컨테이너: MolMIM
- SDK: NVAPI
- SDK: 비디오용 GPUDirect
