LLMs

2025년 7월 9일

스마트하게 사고하고, 백과사전급 질문을 던지세요: 수백만 토큰 실시간 추론으로 32배 더 많은 사용자 지원

최신 AI 애플리케이션은 수억 개의 토큰을 처리하는 컨텍스트 윈도우와 수십억 개의 파라미터를 결합한 모델에 점점 더 의존하고 있습니다.
6 MIN READ
2025년 7월 4일

업계 최고 수준의 멀티모달 RAG: Llama 3.2 NeMo Retriever 임베딩 모델이 파이프라인 정확도를 높이는 방법

데이터는 단순한 텍스트를 넘어서 이미지, 동영상, 오디오 등 다양한 형태를 포함하는 멀티모달 특성을 지니고 있습니다.
5 MIN READ
2025년 7월 4일

NVIDIA Jetson와 RTX에서 Google DeepMind의 Gemma 3n 실행하기

이제 NVIDIA는 RTX 및 Jetson 플랫폼에서 Gemma 3n을 공식 지원합니다. 지난달 Google I/
3 MIN READ
2025년 5월 30일

LLM 추론, AI 에이전트, 및 테스트 시간 스케일링에 대한 간단한 소개

거대 언어 모델(LLM)을 복잡한 문제 해결에 적용하는 데 있어 에이전트는 핵심적인 역할을 해왔습니다. 2023년 AutoGPT를 시작으로…
6 MIN READ
2025년 5월 28일

NVIDIA Blackwell 플랫폼 DeepSeek-R1 추론 성능에서 세계 기록 달성

NVIDIA는 NVIDIA GTC 2025에서 DeepSeek-R1 추론 성능 세계 기록을 발표했습니다.
9 MIN READ
2025년 5월 28일

Blackwell, Meta의 Llama 4 Maverick을 활용해 사용자당 1,000 TPS 장벽 돌파

NVIDIA가 세계 최고 속도의 거대 언어 모델(LLM) 추론 성능을 달성했습니다. NVIDIA Blackwell GPU 8개를 탑재한 단일…
6 MIN READ
2025년 5월 23일

PCIe Gen6 연결성을 갖춘 NVIDIA ConnectX-8 SuperNIC, AI 플랫폼 아키텍처를 발전시킵니다.

AI 작업이 점점 더 복잡해지고 규모도 커지면서, 거대 언어 모델(LLM)부터 에이전틱 AI, 피지컬 AI에 이르기까지 더 빠르고 확장 가능한…
4 MIN READ
2025년 5월 16일

배터리 연구 가속화를 위한 추론 기능을 갖춘 전문 LLM 적용

복잡한 배터리 혁신 분야와 같은 과학 연구는 종종 소재를 수작업으로 평가하는 방식에 의존해 하루에 수십 개의 후보만 검토할 수 있어 연구 속도가…
7 MIN READ
NVIDIA 풀스택 솔루션을 통한 AI 추론 성능 최적화
2025년 5월 15일

NVIDIA 풀스택 솔루션을 통한 AI 추론 성능 최적화

2025년 3월 18일부로 NVIDIA Triton Inference Server는 이제 NVIDIA Dynamo로 명칭이 변경되었습니다.
5 MIN READ
2025년 5월 14일

추론형 AI 모델을 위한 저지연 분산 추론 프레임워크, NVIDIA Dynamo 출시

NVIDIA는 GTC 2025에서 고처리량, 저지연 오픈소스 추론 프레임워크인 NVIDIA Dynamo의 출시를 발표했습니다.
9 MIN READ
2025년 4월 25일

NVIDIA NIM을 사용한 게임용 에이전트 LLM 및 VLM 추론 벤치마킹

런던대학교 유니버시티칼리지(UCL)의 DARK(Dark, Acting, and Reasoning with Knowledge) 연구실은 NVIDIA…
4 MIN READ
2025년 4월 25일

NVIDIA NeMo 마이크로서비스를 사용하여 데이터 플라이휠로 AI 에이전트 강화하기

기업 환경에서 데이터는 끊임없이 변화하며, 이는 시간이 지남에 따라 AI 시스템의 정확도를 유지하는 데 상당한 도전 과제로 작용합니다.
8 MIN READ
2025년 4월 2일

비용 효율적인 LLM 라우팅을 위한 NVIDIA AI Blueprint 배포하기

2022년 11월 ChatGPT가 출시된 이후, 거대 언어 모델(LLM)의 성능은 급격히 향상되었고, 사용 가능한 모델 수도 기하급수적으로…
4 MIN READ
2025년 3월 12일

Spotlight: NVIDIA TensorRT-LLM을 활용한 NAVER Place의 SLM Vertical Service 운영 최적화 

NAVER Place에서는 Place 영역에 특화된 SLM Vertical Service를 운영하여 플레이스 프로덕트 전반(플레이스, 지도…
7 MIN READ
2025년 2월 28일

LLM을 위한 NVIDIA NIM 마이크로서비스로 과학 문헌 검토 가속화

과학 연구자들은 종종 연구 초기에 잘 정리된 체계적인 리뷰를 접합니다. 처음 이 분야를 접하는 과학자에게는 개념을 쉽게 정리할 수 있는 구조화된…
4 MIN READ
2025년 2월 20일

NVIDIA DGX Cloud, AI 플랫폼 성능 벤치마킹을 위한 즉시 사용 가능한 템플릿 출시

AI 시스템과 워크로드가 빠르게 발전하는 환경에서 최적의 모델 학습 성능을 달성하려면 단순히 칩 속도를 높이는 것만으로는 충분하지 않습니다. 컴퓨팅…
4 MIN READ