Data Center / Cloud

2025년 8월 22일

AI 팩토리의 확장성을 높이는 공동 패키징 광학 기술로 전력 효율성 향상

인공지능이 컴퓨팅 환경을 재편하면서 네트워크는 이제 미래 데이터센터를 형성하는 핵심적 기반으로 자리 잡았습니다. 거대 언어 모델(LLM)의 학습…
5 MIN READ
2025년 8월 13일

LLM 추론, AI 에이전트, 및 테스트 시간 스케일링 알아보기

고도화된 AI 모델을 개발하고 배포하려면, 확장 가능하고 효율적인 GPU 인프라가 꼭 필요합니다. 하지만 클라우드 네이티브 환경에서 컨테이너…
4 MIN READ
2025년 8월 8일

Ditto in Action: Torch-TensorRT로 손쉽게 LLM 추론 가속하기

Direct Torch to TensorRT-LLM Optimizer, 줄여서 Ditto는 Transformer 모델을 TensorRT 엔진으로…
5 MIN READ
2025년 8월 8일

LLM 추론 벤치마크: TensorRT-LLM을 활용한 성능 튜닝

이 글은 TensorRT-LLM으로 LLM 추론 성능을 벤치마킹하고 최적화하는 방법을 소개하는 시리즈의 세 번째 편입니다.
6 MIN READ
2025년 7월 30일

AI에 안정적인 전력을 제공하는 GB300 NVL72의 새로운 기능

전기 그리드는 조명, 가전제품, 일정한 출력을 유지하는 산업용 기계처럼 비교적 일정한 부하를 처리하도록 설계되어 있습니다.
6 MIN READ
2025년 7월 18일

NVIDIA Dynamo, 비용 효율적인 대규모 추론을 위한 AWS 서비스 지원 추가

이제 AWS의 개발자와 솔루션 아키텍트는 NVIDIA Blackwell 기반 Amazon EC2 P6를 포함한 NVIDIA GPU 기반 Amazon…
3 MIN READ
2025년 7월 16일

NCCL 2.27을 활용한 빠른 추론과 안정적인 학습 구현

AI 워크로드가 확장되면서 GPU 간 빠르고 안정적인 통신은 학습뿐 아니라 대규모 추론 환경에서도 필수 요소로 자리잡고 있습니다.
6 MIN READ
2025년 7월 11일

InfiniBand 다층 보안으로 데이터 센터와 AI 워크로드를 보호

오늘날의 데이터 중심 환경에서 보안은 단순한 기능을 넘어 전체 시스템을 지탱하는 근간입니다. AI, HPC…
4 MIN READ
2025년 5월 28일

NVIDIA Blackwell 플랫폼 DeepSeek-R1 추론 성능에서 세계 기록 달성

NVIDIA는 NVIDIA GTC 2025에서 DeepSeek-R1 추론 성능 세계 기록을 발표했습니다.
9 MIN READ
2025년 5월 28일

Blackwell, Meta의 Llama 4 Maverick을 활용해 사용자당 1,000 TPS 장벽 돌파

NVIDIA가 세계 최고 속도의 거대 언어 모델(LLM) 추론 성능을 달성했습니다. NVIDIA Blackwell GPU 8개를 탑재한 단일…
6 MIN READ
2025년 5월 23일

차세대 AI 공장에 동력을 공급하는 NVIDIA 800 V HVDC 아키텍처

AI 작업이 기하급수적으로 늘어나면서 데이터센터의 전력 수요도 급격히 증가하고 있습니다. 기존의 54V 랙 내 전력 분배 방식은 수 킬로와트(KW)…
5 MIN READ
2025년 5월 23일

PCIe Gen6 연결성을 갖춘 NVIDIA ConnectX-8 SuperNIC, AI 플랫폼 아키텍처를 발전시킵니다.

AI 작업이 점점 더 복잡해지고 규모도 커지면서, 거대 언어 모델(LLM)부터 에이전틱 AI, 피지컬 AI에 이르기까지 더 빠르고 확장 가능한…
4 MIN READ
2025년 5월 14일

추론형 AI 모델을 위한 저지연 분산 추론 프레임워크, NVIDIA Dynamo 출시

NVIDIA는 GTC 2025에서 고처리량, 저지연 오픈소스 추론 프레임워크인 NVIDIA Dynamo의 출시를 발표했습니다.
9 MIN READ
2025년 4월 9일

GPU로 아파치 스파크에서 아파치 파켓 스캔 가속화하기

산업 전반의 기업에서 데이터 규모가 커짐에 따라 아파치 파켓(Apache Parquet)은 데이터 저장을 위한 주요 포맷으로 자리 잡았습니다.
5 MIN READ
2025년 4월 4일

NVIDIA 실리콘 포토닉스 기반 네트워크 스위칭과 함께하는 데이터 센터 네트워킹의 새로운 시대

NVIDIA는 실리콘 포토닉스를 NVIDIA Quantum 및 Spectrum 스위치 IC에 직접 통합하며 새로운 기술적 진보를 이뤄내고 있습니다.
3 MIN READ
2025년 3월 7일

Evo 2와 함께 진화 전반에서 새로운 규모로 생명체의 생체 분자 언어 이해

AI는 실험적인 호기심을 넘어서 생물학 연구의 원동력으로 진화했습니다. 딥 러닝 알고리즘, 방대한 오믹스 데이터 세트…
6 MIN READ