Generative AI

NVIDIA Spectrum-X イーサネット フォトニクス による電力効率に優れた AI ファクトリーの拡張

Reading Time: 2 minutes

NVIDIA は、コパッケージド オプティクスを備えた世界初の最適化されたイーサネット ネットワークを AI ファクトリーに導入します。これにより、数兆パラメーター規模の AI インフラ向けフラッグシップ スイッチである NVIDIA Spectrum-X イーサネット フォトニクス を使用した NVIDIA Rubin プラットフォームでのスケールアウトとスケールアクロスが可能になります。

このブログ記事では、ギガスケール AI ファクトリー向けに電力効率に優れ、信頼性、回復力に優れたコパッケージド オプティカル ネットワークを実現する Spectrum-X イーサネット フォトニクスのプロトコルとハードウェアにおける主要な最適化と革新について探ります。

AI 向けイーサネットが、NVIDIA Rubin プラットフォームでスケーラブルなトレーニングと推論を可能にする仕組み

超低ジッター イーサネット ネットワークは、インフラ全体で一貫性のある信頼性の高いデータ転送を確保し、AI ファクトリーのスケーリングにおいて重要な役割を果たします。 ジッターを最小化することで、AI システムはバッチ サイズに関係なく、効率的なトークン スループットを達成できます。これは、多様で要求の厳しいワークロードを処理するために不可欠です。 この能力により、単一の AI ファクトリー内でシームレスなマルチテナンシーをサポートし、複数のユーザーとアプリケーションがパフォーマンスを低下させることなく同時に動作することが可能になります。

また、Mixture of Experts (MoE) アーキテクチャに基づいてモデルのディスパッチ効率を向上させ、より迅速なエキスパート選択を可能にし、全体的なモデル パフォーマンスを向上させます。その結果、AI ファクトリーは、より高い速度、信頼性、拡張性で稼働できるようになります。

図 1. NVIDIA Spectrum-X イーサネット は、既製のイーサネットと比較し、低ジッタ通信と、NVIDIA Collective Communication Library (NCCL) のパフォーマンスを向上させます。

AI ファクトリーの光インターコネクト向けの Spectrum-X イーサネット フォトニクス の主なイノベーション

Spectrum-X イーサネット フォトニクス スイッチは、そのコパッケージド シリコン フォトニクス エンジンを通じて、AI ファクトリーのパフォーマンスを向上させます。

  • 新しいパッケージングと低損失の電気光学チャネルにより、プラグ可能な相互接続と比較して、1.6 Tb/秒ポートあたり 5 倍の電力削減を実現します。
  • コパッケージド オプティカル リンクは、既製のイーサネット ソリューションと比較して リンクフラップの間隔が 5 倍になり、AI アップタイムを維持し、AI ワークロードを中断することなく実行します。
  • 10 倍の高いネットワーク耐障害性により、ミッションクリティカルなアプリケーションに比類のない堅牢性をもたらします。

これらのイノベーションにより、組織は AI インフラを拡張し、ワットあたりのパフォーマンスを向上させ、最適なエネルギー効率、信頼性、ネットワークの安定性を維持しながら、より大規模なワークロードをサポートできます。

図 2. Spectrum-X イーサネット フォトニクス MCM パッケージ

Spectrum-X イーサネット フォトニクス は、世界初の完全に統合された 512 レーンの 200G 対応コパッケージド スイッチ システムです。 垂直入射型入出力 (I/O) 向けの着脱式ファイバー コネクターの登場により、AI ファクトリー向け高性能イーサネット スイッチのアセンブリと拡張性が進化しました。精密機械を使用して最終工程で光ファイバーを接続する完全自動化プロセスを実現することで、メーカーは生産歩留まりとスループットを最大化し、大規模デプロイを効率化できます。

垂直入射型光 I/O アーキテクチャにより、スイッチ パッケージの物理サイズを増やすことなく、光ポートを拡張できます。 これは、広範な AI ワークロードをサポートするために、コンパクトな設置面積内で多数の接続を必要とする高基数スイッチにおいて特に有利です。

はんだリフロー互換の光エンジンも、最新のテストおよびアセンブリ ツールとシームレスに統合する画期的な技術です。 この互換性により、スイッチ シリコンに取り付ける前に光コンポーネントを完全にスクリーニングすることが可能になり、良品と確認されたエンジンのみが使用されることを保証し、100% の歩留まりを達成します。 このプロセスは、ピックアンドプレースの自動化と包括的な組立前テストの恩恵を受け、これらの高度なスイッチ システムに効率的な製造プロセスをもたらします。

クアッド ASIC スイッチ アーキテクチャ内の統合シャッフル メカニズムは、単一クラスター内で GPU のフラットかつ効率的なスケーリングを可能にする、もう 1 つの重要な革新です。このトポロジは、追加のスイッチング層によって生じる遅延を排除し、クラスターを拡張しても最適なパフォーマンスを維持します。 SN6800 スイッチは、512 個の 800 Gb/秒ポート、または 2,048 個の 200 Gb/秒ポートで 409.6 Tb/秒の総帯域幅を実現。統合ファイバー シャッフルとコパッケージド シリコン フォトニクス技術を使用して、省スペースと省電力の卓越したイーサネット ソリューションを確立します。これらの統合されたイノベーションで、次世代の人工知能 (AI) アプリケーションをサポートできる堅牢でスケーラブルなネットワーク インフラを AI ファクトリーに提供します。

図 3. Spectrum-X イーサネット フォトニクス ベースの SN6800 と SN6810 イーサネット スイッチ

AI ファクトリー ネットワークの今後のイノベーション

チップ、システム、ソフトウェア、AI モデルを組み合わせたこの包括的な共同設計アプローチは、スケーラブルで高性能な AI ファクトリーの開発を可能にします。 Spectrum-X イーサネット フォトニクス スイッチは、AI ファクトリーに超低ジッター ネットワークを提供し、速度、信頼性、拡張性を向上させ、次世代アプリケーション向けの堅牢なインフラを確立します。詳細については、NVIDIA シリコン フォトニクスのページを参照してください。

翻訳に関する免責事項

この記事は、「Scaling Power-Efficient AI Factories with NVIDIA Spectrum-X Ethernet Photonics」の抄訳で、お客様の利便性のために機械翻訳によって翻訳されたものです。NVIDIA では、翻訳の正確さを期すために注意を払っておりますが、翻訳の正確性については保証いたしません。翻訳された記事の内容の正確性に関して疑問が生じた場合は、原典である英語の記事を参照してください。

Tags