Shizhe Diao

Shizhe Diao는 NVIDIA Research의 연구 과학자이며 파운데이션 모델의 효율적인 훈련 및 조정 연구에 열정을 쏟고 있습니다. Shizhe는 홍콩과학기술대학교에서 박사 학위를 취득했으며, Tong Zhang 교수의 지도를 받았습니다.

Posts by Shizhe Diao

Data Science 2025년 8월 20일

ProRL v2를 활용한 장기 학습 기반 LLM 강화학습 확장

현재 AI 분야에서 가장 흥미로운 질문 중 하나는, 거대 언어 모델(LLM)이 지속적인 강화학습(RL)을 통해 계속 발전할 수 있을지… 6 MIN READ
Conversational AI / NLP 2024년 11월 29일

Hymba 하이브리드 헤드 아키텍처로 소규모 언어 모델 성능 향상

어텐션 기반 아키텍처를 갖춘 트랜스포머는 강력한 성능, 병렬 처리, 키-값(KV) 캐시를 활용한 장기 기억 능력 덕분에 언어 모델(LM)로서 가장… 8 MIN READ