LLMs

2024년 8월 30일

NVLink Switch가 탑재된 NVIDIA HGX H200의 Medusa로 최대 1.9배 향상된 Llama 3.1 성능

거대 언어 모델(LLM)의 크기와 복잡성이 계속 증가함에 따라, 실시간 생성형 AI 애플리케이션이 요구하는 짧은 지연 시간과 높은 처리량을 제공하기…
3 MIN READ
2024년 8월 28일

파인 튜닝을 위한 LoRA의 강력한 대안, DoRA 살펴보기

전체 파인 튜닝(FT)은 일반적으로 특정 다운스트림 작업에 맞게 미리 학습된 일반 모델을 조정하는 데 사용됩니다. 학습 비용을 줄이기 위해 최소한의…
4 MIN READ
2024년 8월 23일

LLM 추론 크기 조정 및 성능 최적화를 위한 실용적인 전략

챗봇, 콘텐츠 제작 등 다양한 애플리케이션에서 거대 언어 모델(LLM)의 사용이 증가함에 따라 추론 시스템을 확장하고 최적화하는 과정을 이해하여…
1 MIN READ
2024년 8월 21일

LLM 에이전트 소개

재무 분석가가 회사의 실적에 대한 질문에 답할 수 있도록 설계된 거대 언어 모델(LLM) 애플리케이션은 잘 설계된 검색 증강 생성(RAG)…
6 MIN READ
2024년 8월 14일

Writer, 의료 및 금융을 위한 도메인별 LLM 출시

Writer는 두 가지 새로운 도메인 전용 AI 모델인 Palmyra-Med 70B와 Palmyra-Fin 70B를 출시하여 NVIDIA NIM의…
4 MIN READ
2024년 8월 9일

CUDA 그래프로 llama.cpp AI 추론 최적화하기

오픈 소스인 llama.cpp 코드 베이스는 원래 2023년에 출시된 가볍지만 효율적인 프레임워크로서 Meta Llama 모델에 대한 추론을…
5 MIN READ
2024년 8월 7일

리랭킹을 통한 RAG 파이프라인 강화

빠르게 진화하는 AI 기반 애플리케이션 환경에서 리랭크는 기업 검색 결과의 정확도와 관련성을 향상시키는 핵심 기술로 부상했습니다.
5 MIN READ
2024년 8월 2일

NVIDIA NeMo Retriever로 RAG를 위한 프로덕션급 텍스트 검색 파이프라인 개발

기업들은 효율성을 개선하고 비용을 절감하며 궁극적으로 생산성을 높이는 데 활용되기를 기다리는 데이터의 금광에 앉아 있습니다.
4 MIN READ
2024년 7월 24일

하이브리드 상태 공간 모델 지원을 통해 LLM 혁신을 가속화하는 NVIDIA NeMo

오늘날의 거대 언어 모델(LLM)은 2017년에 도입된 트랜스포머 모델 아키텍처를 기반으로 합니다. 2017년 이후로 AI 컴퓨팅 성능이 빠르게…
4 MIN READ
2024년 7월 18일

새로운 NVIDIA Megatron-Core 기능으로 생성형 AI 모델을 더 효율적으로 훈련하기

2019년에 처음 소개된 NVIDIA Megatron-LM은 AI 커뮤니티에 혁신의 물결을 일으켰으며, 연구원과 개발자는 이 오픈 소스 라이브러리를…
6 MIN READ
2024년 7월 12일

NVIDIA NeMo T5-TTS 모델을 활용한 음성 합성 LLM의 환각 문제 해결

NVIDIA NeMo는 음성 합성(TTS) 기술의 중요한 발전인 T5-TTS 모델을 출시했습니다. 거대 언어 모델(LLM)을 기반으로 하는 T5…
3 MIN READ
2024년 7월 10일

Brev.dev 및 NVIDIA NGC 카탈로그를 사용하여 한 번의 클릭으로 GPU 최적화 AI 소프트웨어 배포

Brev.dev는 NVIDIA NGC 카탈로그의 소프트웨어 라이브러리, 프레임워크 및 Jupyter Notebooks를 활용하여 AI 솔루션 개발을…
4 MIN READ
2024년 7월 5일

5가지의 새로운 NVIDIA 기술 과정을 통해 기술 수준 향상

AI가 전례 없는 속도로 기술 혁신을 도입하는 상황에서 앞서 나가려면 기술을 최신 상태로 유지해야 합니다. NVIDIA 개발자 프로그램은 업계…
3 MIN READ
2024년 6월 24일

Windows RTX PC용 NVIDIA RTX AI 툴킷으로 AI 기반 앱 개발 간소화

NVIDIA는 오늘 Windows 애플리케이션 개발자가 Windows 애플리케이션용 AI 모델을 맞춤화, 최적화 및 배포할 수 있는 도구 및…
5 MIN READ
2024년 5월 31일

Gipi, NVIDIA TensortRT-LLM 및 AI 파운데이션 모델을 사용한 개인 맞춤형 학습

12억 명 이상의 사람들이 적극적으로 새로운 언어를 배우고 있으며, 5억 명 이상의 학습자가 Duolingo와 같은 디지털 학습 플랫폼에서 학습하고…
4 MIN READ
2024년 5월 29일

업그레이드된 NVIDIA TensorRT 10.0의 사용성, 성능, AI 모델 지원

NVIDIA는 오늘 고성능 딥 러닝 추론을 위한 API 에코시스템인 NVIDIA TensorRT의 최신 릴리스를 발표했습니다.
4 MIN READ