既製の AI モデルを使用する
モデルを選択し、推論バックエンドを選びます。
ステップ 1: ローカル AI のユースケースに最適なモデルを選択する
1. 目標とする VRAM とパフォーマンス要件を決定します
2. 候補の絞り込み:
推奨レシピを確認するか、公開ベンチマーク (例: Artificial Analysis Index) に基づいて候補を絞り込みます
llama.cpp を使用する場合: 品質を維持しながら最高のパフォーマンスを得るために、Q4_K_M 量子化チェックポイントを優先します
vLLM または PyTorch を使用する場合: 品質を維持しながら最高のパフォーマンスを得るために、NVFP4 量子化チェックポイントを優先します
3. 評価:
ユースケース向けのカスタム評価データセットを構築します
人間の評価 (Human Evaluation) でモデルを評価します
LLM の場合、LLM-as-a-judge を使用してモデルを大規模に評価します
ステップ 2: ユースケースに最適な推論バックエンドを選択する
開発者は、アプリケーションのデプロイ パスを選択する前に、いくつかの要因を考慮する必要があります。それぞれの推論パスには、特定のモデル最適化ツールとデプロイ メカニズムが用意されています。
(クリックして図を拡大)
