이번 주에는 브라우저에서 직접 체험해볼 수 있는 NVIDIA에 최적화된 Mamba-Chat 모델을 소개합니다.
이 포스팅은 최신 커뮤니티와 NVIDIA가 제작한 모델을 쉽게 접할 수 있도록 하는 데 중점을 둔 프로그램인 모델 먼데이즈의 일환입니다. 이 모델들은 NVIDIA에서 TensorRT-LLM을 사용하여 최적화했으며, 쉽게 커스터마이징하고 배포할 수 있도록 .nemo 파일로 제공됩니다.
NVIDIA AI 파운데이션 모델 및 엔드포인트는 엔터프라이즈 애플리케이션에서 경험, 커스터마이징 및 배포할 수 있도록 엄선된 커뮤니티 및 NVIDIA가 구축한 생성형 AI 모델 세트에 대한 액세스를 제공합니다. 아직 사용해 보지 않으셨다면 NVIDIA AI 플레이그라운드에서 Nemotron-3, Mixtral 8X7B, Llama 70B 및 Stable Diffusion과 같은 주요 모델을 사용해 보세요.
맘바챗(Mamba-Chat)
Haven에서 발표한 Mamba-Chat 생성형 AI 모델은 상태 공간 모델 아키텍처를 사용하는 최첨단 언어 모델로, 기존에 이 분야를 지배하던 트랜스포머 기반 모델과 차별화됩니다. 이 혁신적인 접근 방식을 통해 맘바챗은 입력 길이에 따라 4제곱으로 확장되는 계산 복잡성 없이 더 긴 시퀀스를 보다 효율적으로 처리할 수 있습니다.
대신, 이 아키텍처는 시퀀스 길이에 따라 선형적으로 확장할 수 있으며 선택적 초점 메커니즘을 통합합니다. 이를 통해 대규모의 복잡한 데이터 세트를 전례 없이 효율적으로 처리하는 능력이 크게 향상되었습니다.
2.8B 모델은 다양한 작업에서 인상적인 성능을 입증했습니다. 사이버 보안과 같은 특정 애플리케이션에 대한 미세 조정을 통해 Mamba-Chat의 다목적성이 강조되어 전문 지식 영역에서의 적응성과 잠재력을 보여줍니다.
이 모델의 효율성은 챗봇 상호작용부터 유전체학 및 시계열 데이터 분석과 같은 분야의 복잡한 데이터 분석에 이르기까지 광범위한 애플리케이션에 특히 적합합니다.
모델 체험하기
NVIDIA는 맘바챗을 최적화했으며, 이제 NGC 카탈로그의 간단한 사용자 인터페이스를 통해 브라우저에서 직접 체험해 볼 수 있습니다. Mamba-Chat 놀이터에서 프롬프트를 입력하고 완전히 가속화된 스택에서 실행되는 모델에서 생성된 결과를 확인할 수 있습니다.
API를 사용하여 모델을 테스트할 수도 있습니다. NGC 카탈로그에 로그인한 다음 NVIDIA 클라우드 크레딧에 액세스하여 애플리케이션을 API 엔드포인트에 연결하여 모델을 대규모로 체험해 보세요.
시작하기
NVIDIA AI 엔터프라이즈는 보안, 지원, 안정성 및 관리 편의성을 제공하여 AI 팀의 생산성을 향상하고, AI 인프라의 총 비용을 절감하며, POC에서 프로덕션으로 원활하게 전환할 수 있도록 지원합니다. 비즈니스 운영을 위해 AI 모델을 배포할 준비가 되었을 때 보안, 안정성, 엔터프라이즈 지원은 매우 중요합니다.
사용자 인터페이스 또는 NGC 카탈로그의 API를 통해 맘바챗을 사용해 보세요.
관련 리소스
- DLI 과정: 대화형 AI 애플리케이션 구축하기
- GTC 세션: SQL에서 채팅까지: NVIDIA로 엔터프라이즈 데이터 분석을 혁신하는 방법
- GTC 세션: 파운데이션 모델 살펴보기: AI 발전의 기둥
- GTC 세션 AI/ML 음성 인식/추론: 파워플렉스가 탑재된 레드햇 오픈시프트의 NVIDIA Riva
- SDK: NeMo
- SDK: NeMo Megatron
