Triton Inference Server
2024 年 4 月 2 日
NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ
LLM のトレーニング コストを抑え、そのパワーを活用可能なファインチューニングの手法の 1 つである、Low-Rank Adaptation (LoRA) の洞察力と実装について説明し、その応用と利点の一部をご紹介します。
7 MIN READ
2024 年 3 月 18 日
NVIDIA NeMo Retriever で企業データを実用的なインサイトに変える
さまざまなデータ プラットフォーム企業が、NVIDIA と協力して NeMo Retriever を活用し、データを価値あるビジネス インサイトに変換している事例についてご紹介します。
2 MIN READ
2024 年 2 月 7 日
NeMo Framework で日本語 LLM を簡単デプロイ - オンライン推論編 -
本記事では、Hugging Face Model Hub から日本語 LLM をダウンロードして、Nemo Framework Inference コンテナーを使用して GPU 推論する方法について具体的な手順を解説します。
3 MIN READ
2023 年 11 月 17 日
LLM テクニックの習得: 推論の最適化
LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。
6 MIN READ
2023 年 11 月 15 日
Azure Machine Learning 上の NVIDIA AI で企業向け生成 AI アプリ開発を強化
生成 AI は、あらゆる産業において、データを活用して生産性を向上させ、パーソナライズされた顧客エンゲージメントを進め、
2 MIN READ
2023 年 10 月 19 日
NVIDIA TensorRT-LLM で大規模言語モデルの推論を最適化
NVIDIA は、NVIDIA GPU 上の最新の LLMの推論性能を高速化および最適化する TensorRT-LLM の一般提供を発表しました。
3 MIN READ