AI 에이전트는 조직이 효율성을 높이고 생산성을 개선하며 혁신 속도를 높이는 새로운 방식으로 주목받고 있습니다. 이 에이전트들은 자율적으로 작업을 수행하고, 다른 도구를 호출하며, 기업 데이터와 직원의 지식을 통합해 가치 있는 비즈니스 성과를 만들어낼 수 있는 기능을 갖추고 있습니다. 이전의 AI 애플리케이션보다 훨씬 발전된 형태로, 각 조직의 요구에 맞춰 커스터마이징된 애플리케이션에 통합되고 있습니다.
NVIDIA AI Enterprise의 최신 릴리스에는 AI 에이전트를 더욱 안전하고 안정적이며 쉽게 배포할 수 있도록 지원하는 몇 가지 새로운 기능이 포함되어 있습니다.
AI 에이전트 파이프라인의 간소화된 관리
새로 출시된 NVIDIA NIM Operator는 Kubernetes에서 AI 파이프라인 배포를 위한 NIM 마이크로서비스의 배포 및 관리를 간소화합니다. 이 오퍼레이터는 AI 파이프라인 배포를 자동화하고, 지능형 모델 사전 캐싱과 같은 기능으로 초기 추론 지연 시간을 줄이며 자동 확장을 가속화해 성능을 향상시킵니다.
또한 CPU, GPU, NIM 최대 요청량, KVcache 등 NIM 관련 메트릭을 기반으로 자동 확장 방식을 선택할 수 있습니다.
간편한 롤링 업그레이드 기능도 제공되어 업그레이드 과정을 더욱 단순화합니다. NIM 마이크로서비스의 버전 번호를 변경하면, NIM Operator가 클러스터 배포를 자동으로 업데이트합니다.
NVIDIA는 이제 프로덕션 AI 파이프라인을 위한 NIM 마이크로서비스를 배포하기 위해 다음과 같은 배포 경로를 제공합니다:
AI 모델을 위한 보안 및 API 안정성
NVIDIA AI Enterprise는 AI 및 데이터 사이언스 소프트웨어를 위한 월별 기능 브랜치 릴리스를 포함하고 있어, 최신 소프트웨어 업데이트를 필요로 하는 AI 개발자에게 적합합니다.
이 릴리스는 최신 기능을 제공하며, 각 릴리스 전에 보안 수정 사항이 적용됩니다. 다만, 이 브랜치는 NVIDIA에서 한 달 동안 유지 관리되며 API가 매달 변경될 가능성이 있어, 업데이트 후 애플리케이션 조정이 필요할 수 있습니다. 이는 시간이 지남에 따라 안정성과 보안을 동시에 요구하는 엔터프라이즈 솔루션 구축에 어려움을 줄 수 있습니다.
이러한 문제를 해결하기 위해 NVIDIA AI Enterprise는 프로덕션 브랜치도 제공합니다. 프로덕션 브랜치는 API 안정성과 정기적인 보안 업데이트를 보장하며, 안정성이 중요한 환경에서 AI를 프로덕션에 배포하는 데 적합합니다. 이 브랜치는 6개월마다 릴리스되며, 각각 9개월의 수명 주기를 가집니다.
프로덕션 브랜치의 9개월 수명 주기 동안 NVIDIA는 중요한 보안 취약점(CVE)을 지속적으로 모니터링하며, 매월 보안 패치를 제공합니다. 이를 통해 NVIDIA AI Enterprise에 포함된 AI 프레임워크, 라이브러리, 모델 및 도구는 최신 보안 상태를 유지하면서도 API가 중단될 위험 없이 안정성을 보장받을 수 있습니다.
새 릴리스에서는 이러한 NIM 마이크로서비스를 프로덕션 브랜치에 추가할 예정입니다:
- Meta의 Llama 3.1 모델 제품군:
- Llama-3.1-Instruct-8B
- Llama-3.1-Instruct-70B
- Llama-3.1-Instruct-405B
- Mistral AI의 Mistral 7B 및 전문가 혼합(MoE) 8x7B 및 8x22B 모델:
- Mixtral-8x7B
- Mixtral-8x22B
- Mistral-7B
- 합성 데이터 생성을 위한 NVIDIA Nemotron-4-340B 모델 제품군:
- Nemotron-4-340B-Instruct
- Nemotron-4-340B-Reward
- NVIDIA NeMo Retriever QA E5 임베딩 v5 텍스트 임베딩 모델:
- NV-EmbedQA-E5-v5
이러한 마이크로서비스를 사용하여 AI 에이전트를 구축하면 해당 프로덕션 브랜치의 수명 기간 동안 애플리케이션 종속성을 깨뜨리지 않고 NVIDIA가 보안을 유지 및 관리할 것이라는 확신을 가지고 AI 에이전트를 구축할 수 있습니다.
이러한 NIM 마이크로서비스는 이미 프로덕션 브랜치에 있는 수많은 다른 AI 라이브러리 및 프레임워크에 합류합니다:
- PyTorch
- TensorFlow
- RAPIDS
- NVIDIA TensorRT
- NVIDIA Triton 추론 서버
- NVIDIA Morpheus
- NVIDIA Holoscan
이번 릴리스에서 프로덕션 브랜치에 새롭게 추가된 기타 AI 프레임워크는 다음과 같습니다:
- AI 기반 비디오 및 이미지 이해와 멀티센서 처리를 위한 Deepstream
- 그래프 신경망 트레이닝을 위한 DGL 및 PyG
의료용 AI
규제가 엄격한 산업 분야의 고객은 종종 더 오랜 기간 동안 소프트웨어 지원을 필요로 합니다. 이러한 고객을 위해 NVIDIA AI Enterprise에는 3년 동안 안정적인 API가 지원되는 장기 지원 브랜치(LTSB)도 포함되어 있습니다.
LTSB 1은 2021년 NVIDIA AI Enterprise의 첫 번째 릴리스와 동시에 출시되었으며 기본 AI 구성 요소를 포함합니다:
- PyTorch
- TensorFlow
- RAPIDS
- TensorRT
- Triton 추론 서버
- vGPU 드라이버와 같은 인프라 소프트웨어
이번 NVIDIA AI Enterprise 최신 릴리스의 일부인 LTSB 2에는 Holoscan SDK 및 Holoscan 배포 스택이 포함된 Holoscan이 추가되었습니다.
Holoscan은 저지연 센서 및 네트워크 연결을 위한 하드웨어 시스템, 데이터 처리 및 AI에 최적화된 라이브러리, 실시간 스트리밍, 이미징 및 기타 애플리케이션을 실행하기 위한 핵심 기능을 결합한 NVIDIA AI 센서 처리 플랫폼입니다. Holoscan SDK에는 센서 I/O, 컴퓨팅, AI 추론 및 시각화를 내재적으로 지원하는 센서 처리 워크플로우를 생성하기 위한 C++ 및 Python API가 포함되어 있으며 NVIDIA GPU 가속을 활용합니다.
Holoscan이 가장 널리 사용되는 분야 중 하나는 의료용 이미징 및 로봇 수술과 같은 의료 기기입니다. 의료 기기는 장기적인 지원 가능성에 대한 엄격한 요구 사항이 있기 때문에, 기기 제조업체는 수명이 긴 하드웨어와 결합된 장기적인 지원에 Holoscan을 추가하여 시장 출시 기간을 단축하고 유지보수 비용을 절감하면서 차세대 지능형 AI 지원 의료 기기를 구축할 수 있습니다.
LTSB가 포함된 Holoscan 플랫폼은 의료 기기 외에도 AI 지원 센서 처리 제품을 구축하기 위해 산업 등급의 생산 준비 플랫폼이 필요한 다른 산업 분야에도 효과적인 솔루션입니다.
NIM 마이크로서비스를 배포하는 다양한 방법
NVIDIA AI Enterprise는 온프레미스 및 퍼블릭 클라우드 서비스 모두에서 지원됩니다. 클라우드 인스턴스에서 실행되는 자체 관리형 Kubernetes에 NIM 마이크로서비스 및 기타 소프트웨어 컨테이너를 배포할 수 있지만, 많은 사람들이 클라우드 공급업체에서 관리하는 Kubernetes를 선호합니다.
이제 Google Cloud는 기업 고객에게 Google Cloud Marketplace에서 직접 최적화된 모델을 배포할 수 있는 간소화된 경로를 제공하기 위해 NVIDIA NIM을 Google Kubernetes Engine에 통합했습니다.
가용성
NVIDIA AI Enterprise의 다음 버전은 지금 사용할 수 있습니다. 라이선스 보유자는 대부분의 AI 소프트웨어 컨테이너의 프로덕션 브랜치 버전을 바로 다운로드할 수 있지만, NIM 마이크로서비스는 11월 말에 프로덕션 브랜치에 추가될 예정입니다. 항상 그렇듯이, 응답 시간 보장, 적시에 문제를 해결하기 위한 NVIDIA 전문가와의 액세스 등 엔터프라이즈 지원의 혜택도 받을 수 있습니다.
자세한 내용은 NVIDIA AI 엔터프라이즈 시작하기 를 참조하세요.
관련 리소스
- GTC 세션: 엔터프라이즈급 생성형 AI를 위한 엔드투엔드 솔루션 구축하기
- GTC 세션: 보험금 청구 프로세스의 AI 혁명
- NGC 컨테이너: ACE 에이전트 모델 활용
- NGC 컨테이너 ACE 에이전트 모델 활용
- NGC 컨테이너 ACE 에이전트 UI 클라이언트
- SDK: NVIDIA 함대 사령부
