TensorRT
2023 年 11 月 17 日
LLM テクニックの習得: 推論の最適化
LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。
6 MIN READ
2023 年 11 月 7 日
企業ソリューション向け大規模言語モデル (LLM) を始める
大規模言語モデル (LLM: Large :Language Models) とは、数千億のパラメーターを持つインターネット規模のデータセットで学習されるディープラーニングのアルゴリズムです。
3 MIN READ
2023 年 10 月 19 日
NVIDIA TensorRT-LLM で大規模言語モデルの推論を最適化
NVIDIA は、NVIDIA GPU 上の最新の LLMの推論性能を高速化および最適化する TensorRT-LLM の一般提供を発表しました。
3 MIN READ
2022 年 6 月 16 日
TREx で NVIDIA TensorRT Engines を探る
NVIDIA TensorRT の主な機能は、ネットワーク定義を処理し、
5 MIN READ
2021 年 12 月 2 日
Torch-TensorRT で PyTorch の推論を最大 6 倍高速化
PyTorch と NVIDIA TensorRT を新たに統合し、1…
4 MIN READ