NVSwitch

2024년 11월 15일
NVSwitch와 TensorRT-LLM 멀티샷으로 3배 빠른 AllReduce 구현
사용자 수가 수백 명에서 수십만 명까지 변동하고 각 요청의 입력 시퀀스 길이가 다른 프로덕션 환경에서 생성형 AI 워크로드를 배포하는 데는 여러…
3 MIN READ

2022년 11월 29일
3세대 NVIDIA NVSwitch를 통한 멀티-GPU 인터커넥트 업그레이드
오늘날 AI 및 고성능 컴퓨팅(HPC)의 수요가 증가하면서 GPU 간 고속 통신과 함께 더욱 빠르고 확장 가능한 인터커넥트의 필요성도 함께 커지고…
8 MIN READ