TensorRT

2025년 4월 25일

NVIDIA NIM을 사용한 게임용 에이전트 LLM 및 VLM 추론 벤치마킹

런던대학교 유니버시티칼리지(UCL)의 DARK(Dark, Acting, and Reasoning with Knowledge) 연구실은 NVIDIA…
4 MIN READ
2024년 12월 13일

NVIDIA TensorRT-LLM, 인플라이트 배치로 인코더-디코더 모델 가속화

NVIDIA는 최근 NVIDIA TensorRT-LLM이 인코더-디코더 모델 아키텍처를 가속화한다고 발표했습니다.
3 MIN READ
2024년 11월 15일

NVSwitch와 TensorRT-LLM 멀티샷으로 3배 빠른 AllReduce 구현

사용자 수가 수백 명에서 수십만 명까지 변동하고 각 요청의 입력 시퀀스 길이가 다른 프로덕션 환경에서 생성형 AI 워크로드를 배포하는 데는 여러…
3 MIN READ
2024년 9월 25일

엣지에서 클라우드로 가속화된 Llama 3.2 배포하기

오픈 소스 Meta Llama 모델 컬렉션을 확장한 Llama 3.2 컬렉션에는 비전 언어 모델(VLM), 소규모 언어 모델(SLM)…
4 MIN READ
2024년 8월 30일

NVLink Switch가 탑재된 NVIDIA HGX H200의 Medusa로 최대 1.9배 향상된 Llama 3.1 성능

거대 언어 모델(LLM)의 크기와 복잡성이 계속 증가함에 따라, 실시간 생성형 AI 애플리케이션이 요구하는 짧은 지연 시간과 높은 처리량을 제공하기…
3 MIN READ
2024년 6월 24일

Windows RTX PC용 NVIDIA RTX AI 툴킷으로 AI 기반 앱 개발 간소화

NVIDIA는 오늘 Windows 애플리케이션 개발자가 Windows 애플리케이션용 AI 모델을 맞춤화, 최적화 및 배포할 수 있는 도구 및…
5 MIN READ
2024년 5월 31일

Gipi, NVIDIA TensortRT-LLM 및 AI 파운데이션 모델을 사용한 개인 맞춤형 학습

12억 명 이상의 사람들이 적극적으로 새로운 언어를 배우고 있으며, 5억 명 이상의 학습자가 Duolingo와 같은 디지털 학습 플랫폼에서 학습하고…
4 MIN READ
2024년 5월 29일

업그레이드된 NVIDIA TensorRT 10.0의 사용성, 성능, AI 모델 지원

NVIDIA는 오늘 고성능 딥 러닝 추론을 위한 API 에코시스템인 NVIDIA TensorRT의 최신 릴리스를 발표했습니다.
4 MIN READ
2024년 5월 17일

NVIDIA TensorRT Model Optimizer로 생성형 AI 추론 성능 가속화

빠르게 진화하는 생성형 AI 환경에서 가속화된 추론 속도에 대한 요구는 여전히 시급한 문제입니다. 모델 크기와 복잡성이 기하급수적으로 증가함에 따라…
6 MIN READ
2024년 4월 18일

NVIDIA TensorRT-LLM으로 LoRA LLM 조정 및 배포

거대 언어 모델(LLM)은 방대한 양의 텍스트로 학습하여 다양한 작업 및 분야에 대해 유창하고 일관된 텍스트를 생성하는 기능으로 자연어…
10 MIN READ
2024년 3월 12일

8-bit 포스트 트레이닝 양자화로 안정적인 확산을 2배 더 빠르게 가속화하는 NVIDIA TensorRT

생성형 AI의 동적 영역에서 확산 모델은 텍스트 프롬프트가 포함된 고품질 이미지를 생성하기 위한 가장 강력한 아키텍처로 각광받고 있습니다.
5 MIN READ
2024년 1월 19일

NVIDIA TensorRT로 가속화된 새롭고 안정적인 확산 모델

CES에서 NVIDIA는 SDXL Turbo, LCM-LoRA 및 Stable Video Diffusion이 모두 NVIDIA TensorRT에…
2 MIN READ
2024년 1월 10일

NVIDIA RTX 시스템으로 Windows PC에서 LLM 애플리케이션 강화하기

거대 언어 모델(LLM)은 우리가 컴퓨터와 상호작용하는 방식을 근본적으로 바꾸고 있습니다. 이러한 모델은 인터넷 검색부터 사무 생산성 도구에…
3 MIN READ
2024년 1월 5일

RAG 101: 검색 증강 생성 관련 질문과 답변

데이터 사이언티스트, AI 엔지니어, MLOps 엔지니어, IT 인프라 전문가는 RAG 파이프라인을 설계하고 배포할 때 LLM과 같은 핵심 구성…
6 MIN READ
2023년 12월 6일

NVIDIA H200에서 거대 언어 모델 속도 향상을 제공하는 NVIDIA TensorRT-LLM

거대 언어 모델(LLM)은 지난 한 해 동안 급격한 성장을 거듭했습니다. 뛰어난 사용자 경험을 제공하기 위해서는 높은 컴퓨팅 처리량과 대량의…
3 MIN READ
2023년 11월 27일

LLM 기술 마스터하기: 인퍼런스 최적화

트랜스포머 레이어를 쌓아 대규모 모델을 만들면 다양한 언어 작업에서 정확도가 향상되고, 퓨샷 러닝이 가능하며, 심지어 인간에 가까운 능력을 발휘할…
15 MIN READ