Shizhe Diao

Shizhe Diao는 NVIDIA Research의 연구 과학자이며 파운데이션 모델의 효율적인 훈련 및 조정 연구에 열정을 쏟고 있습니다. Shizhe는 홍콩과학기술대학교에서 박사 학위를 취득했으며, Tong Zhang 교수의 지도를 받았습니다.

Posts by Shizhe Diao

Conversational AI / NLP 2024년 11월 29일

Hymba 하이브리드 헤드 아키텍처로 소규모 언어 모델 성능 향상

어텐션 기반 아키텍처를 갖춘 트랜스포머는 강력한 성능, 병렬 처리, 키-값(KV) 캐시를 활용한 장기 기억 능력 덕분에 언어 모델(LM)로서 가장… 8 MIN READ