TensorRT

2024 年 9 月 25 日

高速化された Llama 3.2 をエッジからクラウドへデプロイする

NVIDIA のアクセラレーテッド コンピューティング プラットフォームと組み合わせることで、Llama 3.2 は開発者、研究者、企業に、生成 AI のユース ケースを実現するための有益な新機能と最適化を提供します。
2 MIN READ
2024 年 4 月 2 日

NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ

LLM のトレーニング コストを抑え、そのパワーを活用可能なファインチューニングの手法の 1 つである、Low-Rank Adaptation (LoRA) の洞察力と実装について説明し、その応用と利点の一部をご紹介します。
7 MIN READ
2024 年 3 月 18 日

NVIDIA NeMo Retriever で企業データを実用的なインサイトに変える

さまざまなデータ プラットフォーム企業が、NVIDIA と協力して NeMo Retriever を活用し、データを価値あるビジネス インサイトに変換している事例についてご紹介します。
2 MIN READ
2023 年 11 月 17 日

LLM テクニックの習得: 推論の最適化

LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。
6 MIN READ
2023 年 11 月 7 日

企業ソリューション向け大規模言語モデル (LLM) を始める

大規模言語モデル (LLM: Large :Language Models) とは、数千億のパラメーターを持つインターネット規模のデータセットで学習されるディープラーニングのアルゴリズムです。
3 MIN READ
2023 年 10 月 19 日

NVIDIA TensorRT-LLM で大規模言語モデルの推論を最適化

NVIDIA は、NVIDIA GPU 上の最新の LLMの推論性能を高速化および最適化する TensorRT-LLM の一般提供を発表しました。
3 MIN READ
2022 年 6 月 16 日

TREx で NVIDIA TensorRT Engines を探る

NVIDIA TensorRT の主な機能は、ネットワーク定義を処理し、
5 MIN READ
2021 年 12 月 2 日

Torch-TensorRT で PyTorch の推論を最大 6 倍高速化

PyTorch と NVIDIA TensorRT を新たに統合し、1…
4 MIN READ