TensorRTLLM

2024년 5월 3일

NVIDIA TensorRT-LLM 및 NVIDIA Triton Inference Server로 Meta Llama 3 성능 강화

LLM 추론 성능을 가속화 및 최적화하는 NVIDIA TensorRT-LLM의 Meta Llama 3 모델 제품군에 대한 지원을 발표합니다.
5 MIN READ
2024년 4월 18일

NVIDIA TensorRT-LLM으로 LoRA LLM 조정 및 배포

거대 언어 모델(LLM)은 방대한 양의 텍스트로 학습하여 다양한 작업 및 분야에 대해 유창하고 일관된 텍스트를 생성하는 기능으로 자연어…
10 MIN READ