BoYang Hsueh

BoYang Hsueh は、2019 年に開発者技術エンジニアとして NVIDIA に入社しました。大規模言語モデルの推論最適化を専門としており、NVIDIA TensorRT-LLM のコア開発者を務めています。

Posts by BoYang Hsueh

Generative AI

NVIDIA NIM で LoRA アダプター群をシームレスにデプロイ

LoRA の概要と、LoRA でファインチューニングされたモデルをデプロイする 2 つの方法、また LoRA アダプター群のヘテロジニアスな LoRA デプロイを可能にして、混合バッチ推論リクエストを可能にするためのアプローチについても説明します。 3 MIN READ