Generative AI

2025년 9월 5일

GPU 메모리 스왑으로 성능은 유지하면서 모델 배포 비용 절감하기

거대 언어 모델(LLM)을 배포할 때는 두 가지 과제가 동시에 발생합니다. 높은 수요 속에서도 빠른 응답성을 보장해야 하고…
4 MIN READ
2025년 9월 3일

CPU-GPU 메모리 공유를 통한 대규모 LLM 추론 및 KV 캐시 오프로드 가속화

거대 언어 모델(LLM)은 AI 혁신의 최전선에 있지만, 그 방대한 크기 때문에 추론 효율성에 어려움을 주기도 합니다.
4 MIN READ
2025년 8월 29일

QAT로 정확도와 성능을 높이는 gpt-oss 파인튜닝

대규모 오픈소스 파운데이션 모델 공개는 AI 커뮤니티에 늘 큰 기대를 불러일으킵니다. 새로운 아키텍처적 혁신과 기능이 함께 등장하기 때문입니다.
5 MIN READ
2025년 8월 20일

ProRL v2를 활용한 장기 학습 기반 LLM 강화학습 확장

현재 AI 분야에서 가장 흥미로운 질문 중 하나는, 거대 언어 모델(LLM)이 지속적인 강화학습(RL)을 통해 계속 발전할 수 있을지…
6 MIN READ
2025년 8월 13일

LLM 추론, AI 에이전트, 및 테스트 시간 스케일링 알아보기

고도화된 AI 모델을 개발하고 배포하려면, 확장 가능하고 효율적인 GPU 인프라가 꼭 필요합니다. 하지만 클라우드 네이티브 환경에서 컨테이너…
4 MIN READ
2025년 8월 8일

LLM 추론 벤치마크: TensorRT-LLM을 활용한 성능 튜닝

이 글은 TensorRT-LLM으로 LLM 추론 성능을 벤치마킹하고 최적화하는 방법을 소개하는 시리즈의 세 번째 편입니다.
6 MIN READ
2025년 8월 1일

에이전틱 AI 보안: 시맨틱 프롬프트 인젝션이 AI 안전장치를 우회하는 방법

Prompt injection은 공격자가 입력값을 조작하여 거대 언어 모델이 의도하지 않은 방식으로 작동하게 만드는 기법으로…
5 MIN READ
2025년 7월 30일

AI에 안정적인 전력을 제공하는 GB300 NVL72의 새로운 기능

전기 그리드는 조명, 가전제품, 일정한 출력을 유지하는 산업용 기계처럼 비교적 일정한 부하를 처리하도록 설계되어 있습니다.
6 MIN READ
2025년 7월 25일

NVIDIA Llama Nemotron Super v1.5로 더 정확하고 효율적인 AI 에이전트를 만드세요

NVIDIA Nemotron 제품군은 NVIDIA의 오픈 합성 데이터셋, 고급 기술 및 도구를 활용해 생태계 내에서 가장 강력한 오픈 모델들을…
2 MIN READ
2025년 7월 23일

정보 검색을 위한 PDF 데이터 추출 방법

PDF는 재무 보고서, 연구 논문, 기술 문서, 마케팅 자료 등 다양한 정보를 공유할 때 가장 널리 사용되는 파일 형식 중 하나입니다.
7 MIN READ
2025년 7월 23일

Google Cloud & NVIDIA 개발자 커뮤니티에 지금 함께하세요.

구글 클라우드와 NVIDIA는 개발자를 위한 새로운 커뮤니티를 함께 만들고 있습니다. 이곳에서는 두 회사의 핵심 기술을 바탕으로 혁신적인 솔루션을…
1 MIN READ
2025년 7월 11일

GliaCloud 및 NVIDIA Omniverse 라이브러리를 통한 비디오 제작 및 맞춤화 가속화

생성형 AI 비디오 모델의 확산과 이로 인해 도입된 새로운 워크플로우는 크리에이티브 및 마케팅 기술 산업에서 제작 효율을 크게 높이고 결과물의…
2 MIN READ
2025년 7월 4일

업계 최고 수준의 멀티모달 RAG: Llama 3.2 NeMo Retriever 임베딩 모델이 파이프라인 정확도를 높이는 방법

데이터는 단순한 텍스트를 넘어서 이미지, 동영상, 오디오 등 다양한 형태를 포함하는 멀티모달 특성을 지니고 있습니다.
5 MIN READ
2025년 7월 4일

NVIDIA Jetson와 RTX에서 Google DeepMind의 Gemma 3n 실행하기

이제 NVIDIA는 RTX 및 Jetson 플랫폼에서 Gemma 3n을 공식 지원합니다. 지난달 Google I/
3 MIN READ
2025년 7월 1일

맞춤형 정보 검색을 위한 임베딩 모델 정확도 향상

도메인 특화 데이터(법률 문서, 의료 기록, 여러 차례의 대화가 오가는 고객 상담 등)를 다룰 때는, 정보 검색의 효율성을 높이기 위해 임베딩…
5 MIN READ
2025년 6월 13일

Alibaba Cloud PAI, 이제 NVIDIA Cosmos Reason-1 원클릭 배포 및 사용 지원

NVIDIA는 최근 멀티모달 거대 언어 모델(MLLM) Cosmos Reason-1을 공개했습니다. 이번에 발표된 모델은 7B와 56B 두 가지…
5 MIN READ