Posts by Anton Korzh
Generative AI
2024년 11월 15일
NVSwitch와 TensorRT-LLM 멀티샷으로 3배 빠른 AllReduce 구현
사용자 수가 수백 명에서 수십만 명까지 변동하고 각 요청의 입력 시퀀스 길이가 다른 프로덕션 환경에서 생성형 AI 워크로드를 배포하는 데는 여러…
3 MIN READ