Rudy Pei

Rudy Pei는 대규모 LLM 추론의 효율화를 담당하는 NVIDIA의 시니어 딥러닝 알고리즘 엔지니어입니다. Dynamo의 KV 인식 Router에 집중해, 캐시 인식 서빙과 더 낮은 지연, 더 나은 자원 활용을 위한 라우팅·스케줄링 알고리즘을 개발합니다. 또한 실제 클러스터 검증에 앞서 현실적인 서빙 조건에서 라우팅 아이디어를 평가하기 위해 DynoSim과 합성 워크로드 생성을 활용합니다.