Posts by Amr Elmeleegy
AI Platforms / Deployment
2025년 5월 21일
NVIDIA Dynamo, 대규모 분산 추론 발전을 위한 llm-d 커뮤니티 이니셔티브 가속화
2025년 Red Hat Summit에서 공개된 llm-d 커뮤니티는 오픈소스 생태계에서 생성형 AI 추론 혁신을 가속하는 중요한 진전입니다.
3 MIN READ
Development & Optimization
2025년 5월 14일
추론형 AI 모델을 위한 저지연 분산 추론 프레임워크, NVIDIA Dynamo 출시
NVIDIA는 GTC 2025에서 고처리량, 저지연 오픈소스 추론 프레임워크인 NVIDIA Dynamo의 출시를 발표했습니다.
9 MIN READ
Generative AI
2024년 11월 15일
NVSwitch와 TensorRT-LLM 멀티샷으로 3배 빠른 AllReduce 구현
사용자 수가 수백 명에서 수십만 명까지 변동하고 각 요청의 입력 시퀀스 길이가 다른 프로덕션 환경에서 생성형 AI 워크로드를 배포하는 데는 여러…
3 MIN READ
Data Center / Cloud
2024년 10월 30일
추론 속도를 2배 높인 NVIDIA GH200 슈퍼칩, Llama 모델과의 멀티턴 상호작용에서 추론 가속화
프로덕션 환경에 거대 언어 모델(LLM)을 배포하려면 사용자 상호 작용을 향상시키는 것과 시스템 처리량을 늘리는 것 사이에서 어려운 절충점을 찾아야…
4 MIN READ
Computer Vision / Video Analytics
2024년 3월 8일
NVIDIA AI 추론 플랫폼에서 안정적인 Diffusion XL로 멋진 이미지 생성하기
확산 모델은 산업 전반의 크리에이티브 워크플로우를 혁신하고 있습니다. 이 모델은 노이즈 제거 확산 기술을 통해 무작위 노이즈를 반복적으로 AI 기반…
8 MIN READ