従来のクラウド インフラは、予測可能な汎用的なワークロードと標準インターフェイスを想定して設計されました。 エージェント型 AI ファクトリーは、多様なユーザー、エージェント、アプリケーション、データ ソース、ストレージ システムを、サーバーあたりマルチ テラビットの帯域幅で大規模に高速化されたコンピューティングに結びつけ、ライン レートのネットワーク、ストレージ、セキュリティには専用の DPU 処理が不可欠です。 NVIDIA は、NVIDIA AI ネットワークの 5 本目の柱となるスケールイン (Scale-In) ネットワーク インフラを導入し、エージェント型 AI ファクトリーのセキュリティ確保、管理、運用に特化した高速化を実現します。
スケールインは、ノースサウスのネットワークを AI ファクトリー向けの協調的なインフラ ドメインへと進化させます。NVIDIA BlueField-4 および NVIDIA DOCA を搭載し、NVIDIA Spectrum-X イーサネットを介して接続されたスケールインは、AI スタック全体を保護し、AI ファクトリー全体でアプリケーション、データ、ストレージ トラフィックを移動させるサービスを高速化します。ホストに依存しない専用処理により、これらのインフラ サービスをホスト CPU から独立させ、AI コンピューティングの拡張に伴い、セキュリティ、データ アクセス、運用がボトルネックになるのを防止できます。 その結果、需要の増加に合わせて AI サービスとデータに一貫してアクセスできる、より安全で効率的な共有 AI インフラが実現しました。
この投稿では、BlueField-4 アーキテクチャについて説明し、スケールインがエージェント型 AI ファクトリーに安全なアクセス、高性能なデータ移動、テナントの分離、よりシンプルな運用、およびより予測可能なパフォーマンスをどのように実現するかについて説明します。
スケールインはノースサウス型の AI ファクトリー インフラを高速化する
AI ファクトリーには、規模に応じて異なるインフラ要件があります。
- スケールアップ (Scale-Up): NVIDIA NVLink は、GPU をコヒーレント アクセラレーターとして統合します。
- スケールアウト (Scale-Out): NVIDIA Spectrum-X イーサネット と NVIDIA Quantum InfiniBand が、AI ファクトリー全体でサーバーを接続します。
- スケールアクロス (Scale-Across): NVIDIA Spectrum-XGS イーサネットは、分散型 AI ファクトリーを相互に接続します。
- コンテキスト メモリ: NVIDIA CMX は、AI ネイティブ ストレージ向けの NVIDIA STX モジュールを基盤に構築され、ファクトリー内で共有 KV-キャッシュ ストレージを提供します。
- スケールイン (Scale-In): NVIDIA BlueField-4、NVIDIA DOCA、NVIDIA Spectrum-X イーサネットは、AI コンピューティングに関連するアクセス、セキュリティ、データ移動、インフラの運用を高速化します。
ノースサウスのネットワークは、データセンターへの出入り口となるアクセス パスを提供し、ユーザー、アプリケーション、データ ソース、ストレージ システム、サービスを個々のシステムと接続します。従来のクラウド データ センターは、ソフトウェア デファインド インフラ、コンポーザビリティ、および弾力性を中心にこれらのネットワークを構築しており、需要の変化に応じてリソースとアクセスをプロビジョニングおよび拡張することができました。
エージェント型 AI は、このインフラに対する需要を高めます。ソフトウェア デファインド ネットワーク、コンポーザビリティ、および弾力性は依然として不可欠ですが、それだけではもはや十分ではありません。 AI ファクトリーは、大規模なアクセラレーテッド コンピューティングと、増え続けるユーザー、エージェント、アプリケーション、エンタープライズ データ ソース、ストレージ システムを統合し、これらすべてが継続的かつ大規模に相互作用しています。
インフラは、AI ファクトリーの一部として高速化され、共同設計されている必要があります。 セキュリティ、マルチテナント ネットワーク、データおよびストレージ アクセス、インフラの運用は、汎用的なホスト CPU で実行されるソフトウェアのみに依存することも、独立して管理されるレイヤーとして運用することもできません。 これらの機能は、統合されたインフラ ドメインとして連携し、AI ファクトリー全体でアクセス、データ移動、セキュリティ、プロビジョニング、およびオブザーバビリティについて、オペレーターが一貫した制御を行えるようにする必要があります。
スケールインは、AI ファクトリー全体で、ノースサウス型のアクセスを、統合された高速化されたインフラ ドメインへと進化させることで、これらの要件に対処します。BlueField-4 はホストに依存しない高速化とオフロードを提供し、DOCA はプログラミングとインフラ サービスの運用のための統合モデルを提供し、Spectrum-X イーサネットは、外部ストレージやデータ ソースを含むスケールインのアクセス パス全体で高性能なイーサネット接続を提供します。これらを組み合わせることで、アクセラレーテッド コンピューティングとデータ ストレージをサポートするインフラ全体で、アクセス、データ移動、セキュリティ、プロビジョニング、オブザーバビリティについて、一貫した制御をオペレーターに提供します。
AI ファクトリーは、永続的なデータおよび推論コンテキストを維持するために、補完的なストレージ インフラに依存しています。 スケールインは、トレーニング、推論、分析向けの AI ファクトリー ストレージだけでなく、検索やマルチモーダル インデックス作成向けのエンタープライズ AI データ システムも含む、AI ネイティブ ストレージへのハイパフォーマンスなアクセスを提供します。これとは別に、CMX は、ファクトリー内の共有 KV キャッシュと再利用可能な推論状態のためのポッド レベルのストレージを提供します。 BlueField-4 は、スケールインのインフラ プロセッサとして機能し、また一方で CMX のデータ プロセッサおよびストレージ プロセッサとしても機能します。スケールインは、AI ファクトリーおよびエンタープライズ データを AI コンピューティングに結びつけ、CMX はコンテキストを保持および共有し、より迅速で効率的な推論を実現します。
これら 5 つのインフラの柱を組み合わせることで、AI ファクトリー全体で個別の要件に対応します。 GPU、ラック、データ センターの拡張は、データ アクセス、ストレージ、サイバーセキュリティ、および運用がそれらに伴って拡張する場合にのみ、価値をもたらします。
BlueField-4 がスケールイン インフラを支える
BlueField-4 は、GPU サーバー、エージェント型 CPU システム、AI ファクトリー ストレージ システム、クラウド サービス全体にわたるスケールイン サービスを高速化します。 NVIDIA Vera Rubin NVL72 では、NVIDIA ConnectX-9 SuperNIC がスケールアウト ネットワークを介してテナント ワークロード トラフィックを伝送し、BlueField-4 が各サーバーの接続、保護、管理を行うインフラ サービスを実行および高速化します。 BlueField-4 は、テナント ホストの外部で個別のインフラ処理ドメインをオペレーターに提供し、ホスト CPU に依存したり、リソースを消費したりすることなく、セキュリティ ポリシー、サービス状態、テレメトリを管理できます。
NVIDIA BlueField Astra は、信頼できる制御をノースサウスのアクセスからイーストウェストのスケールアウト ファブリックへと拡張します。Astra は、両方のドメインにおいて、プロビジョニング、テナントの分離、ネットワーク ポリシーのための、ホスト非依存の統一された制御ポイントをサービス プロバイダーに提供します。BlueField-4 はポリシーをインストールおよび更新し、テレメトリを監視し、ConnectX-9 はデータ パスでそれらのポリシーを直接適用します。 このクローズド ループにより、テナント ホストでデバイス管理をすることなく、スケールインおよびスケールアウト全体で一貫した制御を実現します。
BlueField-4 は、プログラマブルなコントロール プレーン処理とアクセラレーテッド データ パス処理を組み合わせています。 ソフトウェアがインフラの意思決定を下し、インライン エンジンは、作業をホスト CPU に返却することなく、ローカルでそれらを適用します。この設計により、ファクトリー全体でポリシーを調整し、ラインレートでローカルに適用できるようになります。 表 1 は、主要なコンポーネントがこの処理モデルをどのようにサポートしているかを要約しています。
| コンポーネント | 役割 | 利点 |
|---|---|---|
| 64 コア NVIDIA Grace CPU | ポリシー、プロビジョニング、テレメトリ、インフラ オーケストレーション ソフトウェアを実行する | 前世代と比較して 6 倍のコンピューティング能力を備え、複数のインフラ サービスの同時実行を可能にする |
| インライン高速化エンジン | パケット、RDMA、ストレージ プロトコル、暗号化、ファイアウォール ルール、およびポリシーの適用を処理する | Grace CPU およびホスト CPU の処理負荷を軽減しつつ、最大 800 Gb/s でオペレーション処理を行う |
| LPDDR5X メモリ サブシステム | インフラ ソフトウェアにデータとサービスの状態を提供する | メモリのボトルネックを発生させることなく、高いメモリ帯域幅と電力効率に優れた運用を実現 |
| PCIe Gen6 ホスト接続 | BlueField-4 をホスト サーバーに接続する | ホストとスケールインのインフラ処理ドメイン間に高帯域幅のパスを提供する |
| 800 Gb/s ネットワーク インターフェイス | サーバーをスケールイン ファブリックに接続する | 高スループットのアクセス、セキュリティ、データ移動、ストレージ トラフィックをサポートする |
BlueField-3 と比較して、BlueField-4 は、4 倍のメモリ帯域幅と 2 倍のネットワーク帯域幅を提供します。 この追加の容量は、より多くの同時サービス、より大規模なポリシーおよびテレメトリ データセット、そしてトラフィック処理とセキュリティ スループットの向上をサポートします。
NVIDIA DOCA はスケールイン サービスをプログラミングする
NVIDIA DOCA は、BlueField-4 のハードウェア アクセラレーターを、プログラマブルでデプロイ可能なスケールイン サービスへと変えます。 本番環境に対応し、コンテナ化された DOCA マイクロサービスは BlueField-4 で直接実行できます。また、DOCA ライブラリと SDK により、開発者はカスタム サービス向けの高速化したネットワーク、セキュリティ、ストレージ、テレメトリ機能にアクセスできます。DOCA Flow はハードウェア パケット処理パイプラインをプログラムし、DOCA PCC はプログラマブルな輻輳挙動をサポートし、DOCA Telemetry はデバイスとサービスの健全性を可視化し、DOCA Platform Framework (DPF) はプロビジョニング、デプロイ、更新を管理します。BlueField-4 のマルチサービス アーキテクチャとネイティブ サービス機能チェーンにより、各トラフィック フローは必要なサービス シーケンスを通じて転送されます。これらの機能により、個別のサーバー パイプラインを管理する代わりに、BlueField-4 システム全体でサービスを運用するための統合ソフトウェア モデルがスケールインに提供されます。
NVIDIA Spectrum-X イーサネットがスケールイン ファブリックを接続します
NVIDIA Spectrum-X イーサネットは、外部ストレージを含むスケールイン アクセス パス全体で高性能なファブリックを提供します。 BlueField-4 は各システムでインフラ サービスを処理し、Spectrum-X イーサネットは、AI ファクトリーとその周辺のユーザー、アプリケーション、データ ソース、サービス、および外部ストレージの間でトラフィックを伝送します。 Spectrum-X イーサネットは、大規模なロード バランシングの競合と輻輳に対処し、リソース利用率を向上させ、高い有効帯域幅を維持し、並行トラフィックを分離することで、アクセス フローとストレージ フローがより一貫性があり予測可能なパフォーマンスを得ることができます。
BlueField-4 DPU、DOCA マイクロサービス、および Spectrum-X イーサネット ネットワークは、NVIDIA Vera Rubin と共同設計されているため、プロセッサのパフォーマンス、メモリ帯域幅、PCIe 接続、ネットワーク帯域幅、高速化、およびソフトウェアが互いに歩調を合わせることが可能になります。 これらを組み合わせることで、AI ワークロードに割り当てられたリソースを消費することなく、転送、サービス処理、および制御を処理するスケールイン パスを提供します。
エージェント型 AI ファクトリーにおけるスケールインの主なユース ケース
エージェント型 AI ファクトリーは、アクセラレーテッド インフラを安全に共有し、エンタープライズ データの供給、システムをオンライン化し、パフォーマンスを継続的に監視する必要があります。 以下のユース ケースは、BlueField-4 による高速化と DOCA サービスが、このような本番環境の要件にどのように対応しているかを示しています。
分離された AI ファクトリーの仮想プライベート クラウドを構築する
AI ファクトリーの仮想プライベート クラウド (VPC) は、共有の物理インフラ上でテナントとアプリケーション トラフィックを分離します。 DOCA ホストベース ネットワーク (HBN) は、BlueField-4 上のノースサウス型のレイヤー 3 ルーティングとマルチテナントの分離を高速化します。DOCA Flow はトラフィック分類とアクセス制御のルールをプログラムし、DOCA で高速化された Open vSwitch (OVS-DOCA) は、イーストウェストのインターフェイスに該当するポリシーを適用します。BlueField Astra は、イーストウェストのスケールアウト インターフェイス全体で同じ VPC ポリシーを拡張するため、1 つのポリシー モデルがアクセス トラフィックとスケールアウト トラフィックの両方を管理します。
Vera Rubin では、この協調モデルは合計 7.2 Tb/s のインターフェイス帯域幅に及び、その構成は、ノースサウス方向の BlueField-4 パスが 800 Gb/s、コンピューティング トレイあたり 4 つのイーストウエスト方向のパスが 1.6 Tb/s となっています。これにより、すべてのイーストウェストのトラフィックを 800 Gb/s インターフェイスを介してルーティングすることなく、アクセス トラフィックとスケールアウト トラフィックの両方で一貫したポリシーを適用できます。 テナントはアクセラレーテッド ファブリックを継続的に使用しながら、オペレーターは分離された AI ファクトリー VPC を一元的にプロビジョニングします。 このアーキテクチャは、クラウドのような弾力性、一貫した分離、ホスト CPU オーバーヘッドの削減、および共有 AI インフラのより効率的な利用を実現します。
シリコンでセキュリティを強化
BlueField-4 は、セキュリティ適用ポイントをホスト オペレーティング システムの外部にあるハードウェアに置きます。テナント ソフトウェアはこれらの制御を無効化またはバイパスすることはできません。一方、オフロードされたセキュリティ処理は、ホスト CPU サイクルを維持し、個別のソフトウェア ホップを回避します。 BlueField-4 は、脅威検出を高速化し、ライン レートでネットワーク、ファイル、オブジェクトへのアクセス ポリシーを適用します。DOCA Argus はランタイムの脅威検出を提供し、DOCA Vault はファイル アクセス ポリシーを適用し、DOCA Flow はライン レートのネットワーク適用を定義します。BlueField Astra は、各サーバーの異なるネットワークにおいて、暗号化、分離、ポリシーを調整します。 Astra は、ノースサウスおよびイーストウエストのトラフィック全体でポリシー、テレメトリ、キー、および適用を同期させ、特権的なセキュリティ制御をテナント ホスト外に維持することで、共有 AI サービスに一貫した保護を提供し、AI ワークロードのためにホストのリソースを確保します。
ストレージ アクセスを高速化
スケールインは、AI コンピューティングを外部ストレージのトレーニング データ、モデル アセット、エンタープライズ知識、アプリケーション データと結びつけます。 ストレージ プロトコルの処理、ストレージ仮想化、またはデータ移動の処理が追いつかない場合、GPU は、利用可能なコンピューティング リソースおよびスケールアップ / スケールアウトのネットワーク帯域幅があるにもかかわらず、データの処理を待機し続けることになります。
BlueField-4 は、NVMe-oF、RDMA および TCP を介したファイル ストレージ プロトコルおよびオブジェクト ストレージ プロトコル、ストレージの仮想化、および専用インフラ上のデータ移動を高速化します。 Spectrum-X イーサネットは、ストレージ パス全体で AI に最適化されたイーサネット ファブリックを提供し、輻輳管理とパフォーマンスの分離により、並行するストレージ フロー全体で高い有効帯域幅を維持し、市販のイーサネットと比較して最大 1.45 倍のストレージ スループットを実現します。これにより、ホスト CPU のオーバーヘッドを削減し、AI コンピューティングの供給を維持し、トレーニング、検索、推論のためにエンタープライズ データにより一貫したアクセスが可能になります。 この外部データ パスは CMX を補完します。
AI ファクトリー制御プレーンを実行する
AI ファクトリー ノードは、AI ワークロードを実行する前に、プロビジョニング、構成、保護、および接続を行う必要があります。 BlueField-4 は、ノードをオンボードし、ネットワーク リソースとストレージ リソースをプロビジョニングし、サーバーを起動し、ネットワークを介してホスト オペレーティング システムをロードします。 このコントロール プレーンはホストから独立して動作するため、テナント ソフトウェアを起動する前に、ポリシーを確立し、リソースをプロビジョニングします。 DOCA Platform Framework は、BlueField DPU を Kubernetes ノードとしてプロビジョニング、管理、スケーリングする Kubernetes ネイティブのオーケストレーション フレームワークです。 AI ファクトリー全体で DPU の検出、プロビジョニング、サービスのデプロイ、更新を管理します。これにより、デプロイの期間を短縮し、構成の一貫性を向上させ、ホスト CPU リソースを節約し、新たな AI 容量をより早期にオンライン化できます。
AI 運用の観察と最適化
大規模な AI ファクトリーを運用するには、ネットワーク トラフィック、ストレージ アクセス、サービスの健全性、パフォーマンス、リソース利用率を継続的に可視化する必要があります。 DOCA Telemetry はこの情報を収集してネットワーク監視プラットフォームにエクスポートします。一方、DOCA ライブラリにより、オブザーバビリティ プロバイダーは同じインフラ シグナルを自社ツールに統合することが可能になります。BlueField-4 を通じてテレメトリ情報を収集することで、オペレーターはテナントやホストのソフトウェアに依存しない可視性を維持できます。インフラのテレメトリが GPU やネットワーク利用率にまで拡大すると、オペレーターはアクセス、トラフィック、ストレージ、ポリシーの実施、またはワークロードの配置に関連する制約を特定できます。 このフリート全体の可視性は、AI ワークロードに影響を与える前に、異常を検出し、ボトルネックを特定し、インシデントを解決するのに役立ちます。
スケールインが、スケールされたコンピューティングを AI ファクトリーのパフォーマンスに変える
スケールインは、ノースサウス ネットワークを、データ アクセス、セキュリティ、運用のための、協調的で高速化されたインフラ ドメインへと進化させます。NVIDIA BlueField-4 はネットワーク高速化、DOCA プログラム、およびサービスの運用を提供し、Spectrum-X イーサネットは、スケールイン アクセス パスとストレージ パス全体で、高効率の帯域幅とパフォーマンスの分離を実現します。これらを組み合わせることで、スケールされたコンピューティングを安全で実用的な AI ファクトリー プラットフォームへと変革するのに役立ちます。
次のステップ
- 製品アーキテクチャ、仕様、リソースについて NVIDIA BlueField プラットフォームをご覧ください。
- NVIDIA Spectrum-X イーサネットと NVIDIA DOCA ソフトウェア フレームワークの詳細をご覧ください。
- BlueField のプログラミングを始める: NVIDIA DOCA をダウンロードし、DOCA 入門ガイドに従って、DOCA サンプルを構築します。
翻訳に関する免責事項
この記事は、「NVIDIA BlueField-4 Powers New Scale-In Network Infrastructure for Agentic AI Factories」の抄訳で、お客様の利便性のために機械翻訳によって翻訳されたものです。NVIDIA では、翻訳の正確さを期すために注意を払っておりますが、翻訳の正確性については保証いたしません。翻訳された記事の内容の正確性に関して疑問が生じた場合は、原典である英語の記事を参照してください。
