Xin Dong

Xin Dong은 NVIDIA Research의 연구 과학자이며 LLM 및 파운데이션 모델을 위한 정확하고 효율적이며 신뢰할 수 있는 시스템을 설계하는 데 관심이 있습니다. 2023년 하버드 대학교에서 컴퓨터 과학 박사 학위를 받았으며, H.T. 쿵(Kung) 교수의 지도를 받았습니다.

Posts by Xin Dong

Conversational AI / NLP 2024년 11월 29일

Hymba 하이브리드 헤드 아키텍처로 소규모 언어 모델 성능 향상

어텐션 기반 아키텍처를 갖춘 트랜스포머는 강력한 성능, 병렬 처리, 키-값(KV) 캐시를 활용한 장기 기억 능력 덕분에 언어 모델(LM)로서 가장… 8 MIN READ