Posts by Nick Comly
Generative AI
2023 年 10 月 19 日
NVIDIA TensorRT-LLM で大規模言語モデルの推論を最適化
NVIDIA は、NVIDIA GPU 上の最新の LLMの推論性能を高速化および最適化する TensorRT-LLM の一般提供を発表しました。
3 MIN READ
Generative AI
2023 年 9 月 8 日
NVIDIA TensorRT-LLM が NVIDIA H100 GPU 上で大規模言語モデル推論をさらに強化
大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大しています。しかし、その大きなサイズと特有の実行特性は、
3 MIN READ