AI 기술을 점점 더 많이 채택하는 기업들은 데이터 자산을 활용하기 위해 AI 애플리케이션을 효율적으로 개발, 보호하고 지속적으로 개선해야 하는 복잡한 과제에 직면해 있습니다. AI 개발을 간소화하고 보안을 강화하며 지속적인 최적화를 지원하는 통합된 엔드투엔드 솔루션이 필요하며, 이를 통해 조직은 데이터의 잠재력을 최대한 활용하여 AI 기반 혁신을 이룰 수 있습니다.
이것이 바로 DataStax가 NVIDIA와 협력하여 현재 NVIDIA AI Enterprise 소프트웨어의 일부인 NVIDIA NeMo 및 NIM과 통합된 DataStax AI 플랫폼을 개발한 이유입니다. 이 플랫폼은 통합 스택을 제공하여 기업이 데이터와 애플리케이션 성능 및 정확도를 지속적으로 조정 및 개선하고 19배 향상된 성능 처리량을 달성하는 데 필요한 도구를 활용하는 AI 애플리케이션을 보다 쉽게 구축할 수 있도록 지원합니다. 이 플랫폼은 데이터스택스 및 올해 초 발표된 NVIDIA AI 엔터프라이즈 플랫폼과의 기존 통합을 기반으로 구축되었습니다.
이 블로그 포스팅에서는 생성형 AI 애플리케이션 라이프사이클의 여러 지점을 살펴보고, NVIDIA와 함께 구축된 DataStax AI 플랫폼이 NVIDIA NIM Agent Blueprint 및 Langflow를 사용한 초기 애플리케이션 생성부터 NVIDIA NeMo Guardrails를 사용한 LLM 응답 향상, 고객 데이터 및 파인 튜닝을 통한 애플리케이션 성능 및 정확도 향상에 이르기까지 프로세스를 간소화하는 방법에 대해 설명합니다.
NIM Agent Blueprint 및 Langflow로 빠르게 시작하기
NVIDIA NIM Agent Blueprint는 특정 AI 사용 사례에 대한 참조 아키텍처를 제공하여 AI 애플리케이션 개발의 진입 장벽을 크게 낮춥니다. 이러한 Blueprint와 Langflow의 통합은 AI 개발 라이프사이클의 주요 과제를 해결하고 개발 시간을 최대 60%까지 단축할 수 있는 강력한 시너지를 창출합니다.
수집, 임베딩, 재랭크, 그리고 LLM을 최적으로 실행하기 위해 NeMo Retriever를 비롯한 다양한 NIM 마이크로서비스를 조정하는 멀티모달 PDF 데이터 추출 NIM Agent Blueprint를 예로 들어보겠습니다. 이 Blueprint는 검색 증강 생성(RAG) 애플리케이션 구축의 가장 복잡한 측면 중 하나인 문서 수집 및 처리 문제를 해결합니다. 이러한 복잡한 워크플로를 간소화함으로써 개발자는 기술적 장애물보다는 혁신에 집중할 수 있습니다.
Langflow의 시각적 개발 인터페이스를 사용하면 NIM Agent Blueprint를 실행 가능한 흐름으로 쉽게 표현할 수 있습니다. 이를 통해 개발자는 신속한 프로토타이핑과 실험을 수행할 수 있습니다:
- 주요 NeMo Retriever 임베딩, 인제스트 및 LLM NIM 구성 요소를 사용하여 AI 워크플로를 시각적으로 구성합니다.
- NVIDIA 및 Langflow 구성 요소의 믹스 앤 매치
- 사용자 지정 문서 및 모델을 손쉽게 통합
- 벡터 스토리지에 DataStax Astra DB 활용
- 원활한 배포를 위해 API 엔드포인트로 플로우 노출
이러한 조합은 개발 프로세스를 간소화할 뿐만 아니라 프로토타입과 프로덕션 간의 격차를 해소합니다. 또한 팀 협업을 장려하여 기술적 배경 지식이 부족한 여러 사용자도 애플리케이션을 이해하고 테스트하며 조정할 수 있습니다. 고급 AI 기능에 대한 접근성을 높임으로써 혁신을 촉진하고 다양한 산업 분야에서 AI 애플리케이션의 새로운 가능성을 열어줍니다.
NeMo Guardrail을 통한 AI 보안 및 제어 강화
Langflow의 NIM Agent Blueprint를 통한 빠른 개발을 기반으로 고급 보안 기능으로 AI 애플리케이션을 강화하는 것은 놀라울 정도로 간단해졌습니다. 이미 PDF 추출 Blueprint를 빠르게 구현할 수 있었던 Langflow의 컴포넌트 기반 접근 방식은 이제 NeMo Guardrail 의 원활한 통합을 용이하게 합니다.
NeMo Guardrails는 다음과 같은 책임감 있는 AI 배포를 위한 중요한 기능을 제공합니다:
- 탈옥 및 환각 방지
- 주제 경계 설정
- 사용자 지정 정책 시행
이 통합의 강점은 단순성에 있습니다. 개발자가 Langflow의 시각적 인터페이스를 사용하여 초기 애플리케이션을 신속하게 만들 수 있는 것처럼, 이제 NeMo 가드레일 구성 요소를 드래그 앤 드롭하여 보안을 강화할 수 있습니다. 이러한 접근 방식을 통해 개발자는 신속한 실험과 반복을 할 수 있습니다:
- 기존 흐름에 콘텐츠 모더레이션을 쉽게 추가할 수 있습니다.
- 임계값을 빠르게 구성하고 다양한 안전 규칙을 테스트할 수 있습니다.
- 최소한의 코드 변경으로 가드레일을 추가하여 고급 보안 기술을 원활하게 통합할 수 있습니다.
Langflow의 사전 구축된 NeMo 가드레일과의 통합 기능을 활용하면 개발자는 복잡한 보안 구현에 신경 쓰지 않고 AI 동작을 파인 튜닝하는 데 집중할 수 있습니다. 이러한 통합은 개발 시간을 단축할 뿐만 아니라 AI 애플리케이션에 강력한 안전 조치를 채택하도록 촉진하여 책임감 있는 AI 혁신의 선두에 서게 해줍니다.
지속적인 개선을 통한 AI의 진화
빠르게 발전하는 AI 분야에서 정적 모델, 심지어 LLM도 빠르게 구식이 됩니다. NVIDIA NeMo 파인 튜닝 툴, Astra DB의 검색/검색 튜닝 기능, Langflow의 통합은 지속적인 AI 진화를 위한 강력한 에코시스템을 구축하여 애플리케이션이 반복할 때마다 더 높은 정확도와 성능을 달성할 수 있도록 합니다.
이 통합 접근 방식은 모델 훈련과 파인 튜닝을 위해 세 가지 핵심 구성 요소를 사용합니다:
- NeMo Curator: Astra DB 및 기타 소스에서 운영 및 고객 상호 작용 데이터를 정제하고 준비하여 파인 튜닝을 위한 최적의 데이터 세트를 생성합니다.
- NeMo Customizer: 이렇게 선별된 데이터 세트를 활용하여 특정 조직의 요구에 맞게 LLM, SLM 또는 임베딩 모델을 파인 튜닝할 수 있습니다.
- NeMo Evaluator: 다양한 메트릭에 걸쳐 파인 튜닝된 모델을 엄격하게 평가하여 배포 전에 성능 개선을 보장합니다.
이러한 파인 튜닝 파이프라인을 Langflow에서 시각적으로 모델링함으로써 조직은 원활하고 반복적인 AI 개선 프로세스를 구축할 수 있습니다. 이 접근 방식은 몇 가지 전략적 이점을 제공합니다:
- 데이터 기반 최적화: Astra DB의 실제 상호 작용 데이터를 활용하면 실제 사용 패턴과 고객의 요구 사항을 기반으로 모델을 개선할 수 있습니다.
- 민첩한 모델 진화: Langflow의 시각적 파이프라인을 통해 파인 튜닝 프로세스를 빠르게 조정할 수 있어 신속한 실험과 최적화가 가능합니다.
- 맞춤형 AI 솔루션: 조직별 데이터를 기반으로 한 파인 튜닝을 통해 특정 산업 요구 사항이나 사용 사례에 고유하게 맞춤화된 AI 모델을 개발할 수 있습니다.
- 지속적인 성능 향상: 정기적인 평가와 파인 튜닝을 통해 AI 애플리케이션의 관련성과 효과가 시간이 지남에 따라 지속적으로 개선됩니다.
이 통합 에코시스템은 AI 개발을 특정 시점의 배포에서 지속적인 개선 주기로 전환하여 조직이 비즈니스 요구 사항에 따라 진화하는 최첨단 AI 기능을 유지할 수 있도록 지원합니다.
NVIDIA와 함께 구축된 DataStax AI 플랫폼은 NVIDIA AI Enterprise에 포함된 고급 AI 도구, DataStax의 강력한 데이터 관리, 검색 유연성, Langflow의 직관적인 시각적 인터페이스를 통합하여 엔터프라이즈 AI 개발을 위한 포괄적인 에코시스템을 구축합니다. 이러한 통합을 통해 조직은 AI 애플리케이션을 신속하게 프로토타이핑하고 안전하게 배포하며 지속적으로 최적화하여 복잡한 데이터를 실행 가능한 인텔리전스로 전환하는 동시에 가치 실현 시간을 크게 단축할 수 있습니다.
자세한 내용을 알아보려면 이 동영상을 확인하고 NVIDIA로 구축된 DataStax AI 플랫폼에 등록하세요.
관련 리소스
- GTC 세션: AI/ML 음성 인식/추론:
- 레드햇 오픈시프트와 PowerFlex의 NVIDIA Riva
- GTC 세션: NVIDIA AI를 위한 데이터 패턴: NVIDIA DGX 슈퍼포드, NVIDIA DGX 베이스포드, 분석 및 배포(IBM 제공)
- GTC 세션: 생성형 AI 극장: 비용 효율적인 AI 팩토리를 통한 트레이딩, 투자 분석 및 리스크 관리 최적화
- NGC 컨테이너: TTS 패스트피치 하이파이간 리바(FastPitch HifiGAN Riva)
- NGC 컨테이너
- ASR Parakeet CTC Riva 1.1b
- SDK: MONAI 클라우드 API
