Shengyang Sun

Shengyang Sun 是 NVIDIA 的一名深度学习应用科学家,专注于在训练后过程中提高大语言模型的性能。他的研究涉及模型对齐算法、合成数据生成和推理。加入 NVIDIA 之前,Shengyang 在多伦多大学获得计算机科学博士学位,专注于深度神经网络中可扩展的不确定性估计。

Posts by Shengyang Sun

生成式人工智能/大语言模型

利用 NVIDIA NeMo-Aligner 进行监督式微调的数据高效知识蒸馏

知识蒸馏是一种将更大的教师模型的知识转移到更小的学生模型的方法,理想情况下可生成紧凑、易于部署的学生,且准确度与教师相当。 2 MIN READ