TensorRT

2024 年 11 月 8 日
NVIDIA TensorRT-LLM の KV Cache Early Reuseで、Time to First Token を 5 倍高速化
KV キャッシュの再利用技術と、TTFT のさらなる高速化を実現するベストプラクティスについて解説します。
2 MIN READ

2024 年 9 月 25 日
高速化された Llama 3.2 をエッジからクラウドへデプロイする
NVIDIA のアクセラレーテッド コンピューティング プラットフォームと組み合わせることで、Llama 3.2 は開発者、研究者、企業に、生成 AI のユース ケースを実現するための有益な新機能と最適化を提供します。
2 MIN READ

2024 年 4 月 2 日
NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ
LLM のトレーニング コストを抑え、そのパワーを活用可能なファインチューニングの手法の 1 つである、Low-Rank Adaptation (LoRA) の洞察力と実装について説明し、その応用と利点の一部をご紹介します。
7 MIN READ

2024 年 3 月 18 日
NVIDIA NeMo Retriever で企業データを実用的なインサイトに変える
さまざまなデータ プラットフォーム企業が、NVIDIA と協力して NeMo Retriever を活用し、データを価値あるビジネス インサイトに変換している事例についてご紹介します。
2 MIN READ

2024 年 1 月 17 日
cuDLA による NVIDIA Jetson Orin 上での YOLOv5 の紹介
この投稿は、Orin プラットフォームを使用する組込み開発者が、YOLOv5 をリファレンスとして、
5 MIN READ

2023 年 11 月 17 日
LLM テクニックの習得: 推論の最適化
LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。
6 MIN READ

2023 年 11 月 7 日
企業ソリューション向け大規模言語モデル (LLM) を始める
大規模言語モデル (LLM: Large :Language Models) とは、数千億のパラメーターを持つインターネット規模のデータセットで学習されるディープラーニングのアルゴリズムです。
3 MIN READ

2023 年 10 月 19 日
NVIDIA TensorRT-LLM で大規模言語モデルの推論を最適化
NVIDIA は、NVIDIA GPU 上の最新の LLMの推論性能を高速化および最適化する TensorRT-LLM の一般提供を発表しました。
3 MIN READ

2023 年 9 月 11 日
後編: TREx による TensorRT 化した Stable Diffusion モデルの解析
前回の記事で Stable Diffusion モデルの TensorRT Engine 化を行ったので、
5 MIN READ

2023 年 9 月 11 日
前編: Stable Diffusion を TensorRT で GPU 推論を数倍高速化
Stable diffusion は画像生成、画像編集、画像変換など画像における多様な処理ができるモデルです。
3 MIN READ

2023 年 9 月 8 日
NVIDIA TensorRT-LLM が NVIDIA H100 GPU 上で大規模言語モデル推論をさらに強化
大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大しています。しかし、その大きなサイズと特有の実行特性は、
3 MIN READ

2023 年 7 月 6 日
NVIDIA の GPU に最適化された YOLOv5 の実装で物体検出アプリケーションを高速化する
物体検出というと、コンピューター ビジョンの伝統的なアプローチは、
9 MIN READ

2023 年 4 月 26 日
TensorRT のハードウェアとバージョン互換性対応
TensorRT で推論を行う為には、推論の為の Engine を予めビルドし、それを推論実行環境にデプロイするというステップが必要です。
3 MIN READ

2022 年 6 月 16 日
TREx で NVIDIA TensorRT Engines を探る
NVIDIA TensorRT の主な機能は、ネットワーク定義を処理し、
5 MIN READ

2021 年 12 月 2 日
Torch-TensorRT で PyTorch の推論を最大 6 倍高速化
PyTorch と NVIDIA TensorRT を新たに統合し、1…
4 MIN READ