Deep dive

2024년 11월 29일

Hymba 하이브리드 헤드 아키텍처로 소규모 언어 모델 성능 향상

어텐션 기반 아키텍처를 갖춘 트랜스포머는 강력한 성능, 병렬 처리, 키-값(KV) 캐시를 활용한 장기 기억 능력 덕분에 언어 모델(LM)로서 가장…
8 MIN READ
2024년 11월 15일

NVSwitch와 TensorRT-LLM 멀티샷으로 3배 빠른 AllReduce 구현

사용자 수가 수백 명에서 수십만 명까지 변동하고 각 요청의 입력 시퀀스 길이가 다른 프로덕션 환경에서 생성형 AI 워크로드를 배포하는 데는 여러…
3 MIN READ
2024년 11월 15일

NVIDIA AI Blueprint로 비디오 검색 및 요약 에이전트 구축하기

이 게시물은 2024년 7월 29일에 처음 게시되었으나, 이후 NVIDIA AI Blueprint 정보를 바탕으로 수정되었습니다.
6 MIN READ
2024년 11월 1일

NVIDIA Morpheus를 사용하여 보안 운영 센터의 경보 분류 및 LLM 에이전트 가속화

보안관제센터(SOC) 분석가들은 매일 엄청난 양의 보안 경고를 수신합니다. 조직의 지속적인 안전을 보장하기 위해 이들은 수신되는 노이즈 속에서…
4 MIN READ
2024년 10월 23일

NetworkX, NVIDIA cuGraph를 사용한 제로 코드 변경 가속화 도입

NVIDIA cuGraph로 가속화된 NetworkX는 NetworkX 팀과 공동 개발한 새로 출시된 백엔드입니다.
5 MIN READ
2024년 9월 25일

엣지에서 클라우드로 가속화된 Llama 3.2 배포하기

오픈 소스 Meta Llama 모델 컬렉션을 확장한 Llama 3.2 컬렉션에는 비전 언어 모델(VLM), 소규모 언어 모델(SLM)…
4 MIN READ
2024년 8월 30일

NVLink Switch가 탑재된 NVIDIA HGX H200의 Medusa로 최대 1.9배 향상된 Llama 3.1 성능

거대 언어 모델(LLM)의 크기와 복잡성이 계속 증가함에 따라, 실시간 생성형 AI 애플리케이션이 요구하는 짧은 지연 시간과 높은 처리량을 제공하기…
3 MIN READ
2024년 8월 28일

파인 튜닝을 위한 LoRA의 강력한 대안, DoRA 살펴보기

전체 파인 튜닝(FT)은 일반적으로 특정 다운스트림 작업에 맞게 미리 학습된 일반 모델을 조정하는 데 사용됩니다. 학습 비용을 줄이기 위해 최소한의…
4 MIN READ
2024년 8월 9일

CUDA 그래프로 llama.cpp AI 추론 최적화하기

오픈 소스인 llama.cpp 코드 베이스는 원래 2023년에 출시된 가볍지만 효율적인 프레임워크로서 Meta Llama 모델에 대한 추론을…
5 MIN READ
2024년 8월 2일

NVIDIA NeMo Retriever로 RAG를 위한 프로덕션급 텍스트 검색 파이프라인 개발

기업들은 효율성을 개선하고 비용을 절감하며 궁극적으로 생산성을 높이는 데 활용되기를 기다리는 데이터의 금광에 앉아 있습니다.
4 MIN READ
2024년 8월 2일

NVIDIA 플랫폼 전반에서 Llama 3.1 강화하기

Meta의 Llama 거대 언어 모델 컬렉션은 오늘날 오픈 소스 커뮤니티에서 가장 인기 있는 파운데이션 모델로, 다양한 사용 사례를 지원합니다.
5 MIN READ
2024년 7월 19일

기하학적 구조에 대한 시뮬레이션과 실제 로봇 조립 기술 훈련

가정 및 산업 환경에서 대부분의 물체는 조립해야 하는 여러 부품으로 이루어져 있습니다. 조립은 일반적으로 인간 작업자가 하지만…
6 MIN READ
2024년 7월 18일

새로운 NVIDIA Megatron-Core 기능으로 생성형 AI 모델을 더 효율적으로 훈련하기

2019년에 처음 소개된 NVIDIA Megatron-LM은 AI 커뮤니티에 혁신의 물결을 일으켰으며, 연구원과 개발자는 이 오픈 소스 라이브러리를…
6 MIN READ
2024년 7월 12일

NVIDIA Holoscan 및 RTI Connext를 통해 실현하는 AI 지원 의료 기기의 미래

실시간 인사이트와 자율 의사 결정에 대한 수요는 산업 전반에 걸쳐 증가하고 있으며 헬스케어 및 의료 기기도 예외는 아닙니다.
5 MIN READ
2024년 6월 17일

엔터프라이즈 규모에서 CVE 분석을 위한 생성형 AI 적용

소프트웨어 개발 및 배포 프로세스는 복잡합니다. 최신 엔터프라이즈 애플리케이션은 복잡한 소프트웨어 종속성을 가지고 있으며…
7 MIN READ
2024년 6월 12일

NVIDIA cuDNN 9로 트랜스포머 가속화

NVIDIA CUDA 딥 뉴럴 네트워크 라이브러리(cuDNN)는 최첨단 성능으로 딥 러닝 기본 요소를 가속화하기 위한 GPU 가속 라이브러리입니다.
7 MIN READ