ギガスケール AI とイーサネットの進化: Spectrum-X イーサネットがルールを書き換える方法

Reading Time: 3 minutes

生成 AI の大幅な成長により、データセンターの設計が根本的に変わりました。分散モデルトレーニングが数十万基の GPU に及ぶ規模に拡大するのに伴い、これらのノードを接続するスケールアウトネットワークが、主要なパフォーマンスのボトルネックとして浮上しています。

数十年にわたり、従来の汎用イーサネットは、エンタープライズネットワークおよびクラウドネットワークの不動の王者であり続けてきました。安価で標準化されており、汎用的な高エントロピーの Web トラフィックを処理するのに非常に効果的です。しかし、AI アーキテクチャに必要な大規模で高度に同期された通信パターンを従来のイーサネットが処理しなければならない場合、物理的な壁にぶつかります。

このギャップを埋めるために、NVIDIA はギガスケール AI ファクトリー向けにゼロから設計されたハードウェアアクセラレーテッドネットワークアーキテクチャである Spectrum-X イーサネットを導入しました。数十年にわたるルーティングや輻輳制御のパラダイムに依存する従来のイーサネットとは異なり、Spectrum-X イーサネットは、高性能なスイッチとホスト側のネットワークインターフェイスカード (NIC) を共同設計し、極端な負荷やストレスの下でも、予測可能な低遅延、高いファブリック利用率、および堅牢な耐障害性を実現します。

本記事では、従来のイーサネットが AI ワークロードに適さない理由となる構造的な制限を検証し、Spectrum-X イーサネットの独自のアーキテクチャ原則を分析するとともに、Spectrum-X マルチプレーンテクノロジがバイセクション帯域幅を最大化し、Time-to-AI を高速化する方法について説明します。

避けられない衝突: 従来のイーサネットが AI ワークロードで機能しない理由

標準的なデータセンタートラフィックはエントロピーが高く、数百万もの小規模な独立したフローが異なる方向に移動します。 Equal-Cost Multi-Path (ECMP: 等価コスト複数パス) ルーティングは、静的なフローハッシュ化を使用してそれらを並列パスに分散させ、一般的にバランスの取れた利用率を実現します。

AI トレーニングトラフィックはエントロピーが低いです。 GPU は、All-Reduce、All-Gather、All-to-All などのコレクティブを通じて継続的に同期し、比較的少ない非常に大規模な同期フローを生成します。これにより、従来のイーサネットの 3 つの制限が明らかになります。

ハッシュ衝突と遅延フロー: ECMP はリアルタイムの輻輳を考慮しないため、大規模なフローが単一リンクで衝突し、他のリンクが十分に活用されない場合があります。同期したコレクティブは、最も遅いフローが完了したときにのみ終了するため、1 つの混雑したパスでコレクティブを遅らせ、多くの GPU をアイドル状態に陥れる可能性があります。
ロスあり運用とロスレス運用: 輻輳はスイッチバッファをオーバーフローさせ、パケット損失と再送信を引き起こし、AI のパフォーマンスを著しく低下させる遅延を招く可能性があります。RoCEv2 のデプロイでは、損失を低減するために Priority Flow Control (PFC: 優先度ベースのフロー制御) がよく使用されますが、一時停止フレームは輻輳を伝播させ、ヘッドオブラインブロッキングを引き起こし、ファブリックを停滞させる可能性があります。
遅い輻輳制御: Data Center Quantized Congestion Notification (DCQCN) などのプロトコルでは、同期化された AI バーストに対する調整が困難な場合があります。反応が遅れたり過剰であったりすると、バッファの蓄積、利用率の低下、および遅延の急増を引き起こす可能性があります。
ほぼ完全なマルチテナント間の分離: 従来のイーサネットでは、あるジョブから「ノイジーネイバー」トラフィックが別のジョブに流れ込む可能性があり、All-to-All コレクティブの帯域幅を 80% 以上も低下させる原因となります。この分離の失敗は、DeepSeek-V3 LLM トレーニングシミュレーションで実証されました。スタンドアロンで実行した場合、標準的なイーサネットは、735 ミリ秒のトレーニングステップタイムを達成しました。しかし、バックグラウンドの「ノイズ」トラフィックが導入されたことで、標準的なイーサネットのステップタイムは 1.18 秒に増加しました (1.6 倍の速度低下)。Spectrum-X イーサネットは、プレーンごとに輻輳を分離し、ホットスポットを回避して動的にルーティングすることで、スタンドアロンおよび混雑の激しいマルチテナント条件の両方で、668 ミリ秒の安定したトレーニングステップタイムを維持し、実質的に劣化はゼロです。

Spectrum-X イーサネットの仕組み: 3 つの連動する制御ループ

800 ギガビット/秒 (Gbps) 以上では、伝搬遅延が光速により決まることは変わりませんが、帯域幅と遅延の積は膨大になります。キューの蓄積とパケットの損失を回避するために、ネットワークファブリックは、マイクロ秒のタイムスケールでリアルタイムで輻輳に対応する必要があります。

ソフトウェアベースの制御パスでは、このような厳しい時間枠では対応できないため、Spectrum-X イーサネットは、中核的な構造的要件として、完全なハードウェア高速化を実装しています。Spectrum-X イーサネットの基本的な設計原則は、スコープ、シグナル、および責任ごとにハードウェアアクセラレーションによる制御ループを分離することです。ネットワーク制御を互いに干渉しない 3 つの異なるループに分解することで、Spectrum-X イーサネットは、ファブリックを不安定にするフィードバックループを生成することなく、自然な時間スケールで輻輳を解決します。

スイッチ内適応型ルーティング

従来のイーサネットで見られる静的でハッシュベースの ECMP ルーティングと異なり、Spectrum-X イーサネットスイッチは、パケットごとの適応型ルーティング (AR) を実装します。Join-Shortest-Queue (JSQ) アルゴリズムの量子化されたハードウェア近似を活用し、このスイッチは、サブマイクロ秒の間隔で、ECMP グループ内のすべての出力ポートのキュー深度をサンプリングします。パケットが到着すると、スイッチは、最も輻輳の少ない物理ポートに動的に誘導します。このステートレスでフローに依存しないメカニズムは、ローカルでの一時的不均衡に数百ナノ秒以内に反応し、スイッチキューを小さく保ち、局所的なホットスポットを防止します。

ターゲット型輻輳制御

AR はファブリック内のパス利用率を均等化しますが、エンドポイントインキャスト (複数の送信者が 1 つの受信者に同時にデータを送信し、受信者の出口ポートを飽和させるシナリオ) を解決することはできません。これに対処するために、Spectrum-X イーサネットは、高度なハードウェアアクセラレーションによる輻輳制御 (CC) メカニズムを実装しています。

重要な点として、Spectrum-X イーサネットはスイッチと SuperNIC の応答を共同設計しています。スイッチは、適応型ルーティング容量が完全に使い果たされ、キューが増加し続ける場合にのみ、Explicit Congestion Notification (ECN) マークを生成します。送信者は、ECN マークと組み合わせた正確な RTT プローブを活用し、RTT タイムスケールで送信速度を調整します。これにより、ネットワークが一時的なマイクロバースト (これは AR が容易に対処できる) に過剰反応するのを防ぎつつ、真のエンドポイントレベルの輻輳が発生した場合には迅速かつ正確なレート削減を実現します。

NIC ベースのプレーンロードバランシング

ホストエッジで運用される Plane Load Balancer (PLB) は、Spectrum-X イーサネット SuperNIC (NVIDIA ConnectX など) 内に搭載される専用ハードウェアエンジンです。 PLB は、ローカルキューフィードバックとエンドツーエンドのプレーンごとの輻輳テレメトリを組み合わせて、複数のネットワークプレーンにパケットを動的に分散します。このメカニズムについては、以下で詳細に説明します。

マルチプレーントポロジと Spectrum-X マルチプレーンテクノロジの謎を解く

AI ファクトリーを数十万基の GPU に拡張するには、従来のネットワークアーキテクチャで追加の階層を追加する必要があります (2 層から 3 層のファットツリートポロジに移行するなど)。しかし、階層を追加することは、遅延の増加、ジッタの増大、負荷の不均衡の原因となるほか、光通信機器、ケーブル、電力のコストを大幅に膨らませるなど、大きな問題があります。

拡張の課題を解決するために、最新の AI データセンターは、マルチプレーントポロジを活用しています。単一の大規模なマルチ階層ネットワークファブリックを構築する代わりに、マルチプレーントポロジは、単一のホストの膨大なネットワーク帯域幅 (たとえば、8 レーン ConnectX SuperNIC から 800 Gbps) を、複数のより低速で物理的に独立したネットワークプレーン (たとえば、4 つの独立した 200 Gbps プレーン) に分解します。各プレーンは、非常に効率的な 2 層の浅いファットツリーとして構築されています。

ホストをこれらのプレーンに接続するために、シャッフルボックスやトランクケーブルなどのパッシブ光デバイスがホストエッジで活用されます。これらのデバイスは、各マルチポート NIC からすべての独立したプレーンにファイバーをルーティングし、NIC から NIC への完全な到達性を維持しながら、ホストエッジで膨大なパスの多様性を可能にします。これにより、従来の多階層ファブリックトポロジの遅延やジッタのボトルネックを発生させることなく、シンプルな 2 層トポロジで 128,000 以上のエンドポイント、または 3 層トポロジで最大 1,600 万のエンドポイントまで拡張できます。

オブリビアスパケットスプレーの欠陥

マルチプレーントポロジは膨大な理論上の帯域幅を提供しますが、すべてのプレーン間でトラフィックのバランスが完全に取れている場合にのみ効果的です。一部の標準的なアーキテクチャは、個々のプレーンの状態を認識することなく、トランスポートレイヤーのすべてのプレーンにパケットを順次分散させる、オブリビアススプレーによってこれを解決しようとしています。

しかし、このアプローチは実環境では完全に破綻します。ギガスケールでは、物理的な障害、光コネクタの劣化、ファイバーリンクのフラップが、定常状態の運用上の現実として存在しています。プレーン 2 の単一ファイバーリンクが劣化したり、フラップした場合、そのプレーンの容量は低下します。オブリビアススプレーはこの非対称性を認識できないため、劣化したプレーンに同量のトラフィックを送り続けます。その結果、ネットワーク全体のパフォーマンスは、最も低速で劣化したプレーンがボトルネックとなり、単一の局所的なリンクフラップの影響範囲が増幅され、マルチプレーンクラスター全体に波及します。

ソリューション: Spectrum-X マルチプレーンテクノロジ

マルチプレーンアーキテクチャの真の可能性を解き放つために、Spectrum-X Multiplane テクノロジは、ハードウェアアクセラレーテッドプレーンロードバランサー (PLB) を SuperNIC シリコンに直接実装します。 Plane Load Balancer は、マルチプレーンアーキテクチャをアプリケーションレイヤーに対して完全に透過的なものにし、オペレーティングシステムと集団通信ライブラリは、単一の統合された RoCE デバイスのみを認識します。すべてのトラフィック分配、ロードバランシング、フェイルオーバーは、Spectrum-X イーサネットハードウェア内で処理されます。

Spectrum-X イーサネットスイッチと連携して、PLB は、送信されるすべてのパケットに対して、独自のステートフルな 2 段階の階層的選択プロセスを介して動作します。

エンドツーエンドの輻輳フィルタリング: SuperNIC は、あらゆる宛先 GPU に対して、各物理プレーンに 1 つずつ、独立したステートフルの輻輳制御コンテキストを維持します。各コンテキストは、RTT プローブを独立して監視し、輻輳通知パケット (CNP) を処理して、特定のプレーンのリアルタイムのレート許容量を計算します。パケットが送信される前に、SuperNIC は、必要な送信レートを各プレーンの許容値と比較します。エンドツーエンドの輻輳やリンクの障害が発生しているプレーンは、対象となるセットから一時的にフィルタリングされます。
ローカルキューの選択: SuperNIC ハードウェアは、残りの健全で輻輳のないプレーンから、最も浅いローカル出口キューを持つプレーンを選択します。これは、ホストエッジにおけるスイッチの適応型ルーティングメカニズムを反映しています。

Spectrum-X イーサネットは、プレーンごとに CC 状態を分離し、ローカルな出力キューの深度と組み合わせることで、影響を受けるプレーンに輻輳を限定します。Plane 2 でリンク障害が生じた場合、Connect-X SuperNIC は即座に RTT タイムアウトを検出し、対象となるセットから Plane 2 をマスクするとともに、3 ミリ秒未満で残り 3 つの正常なプレーンにすべてのトラフィックを透過的にリダイレクトし、総ラインレート二分帯域幅の 75% を維持します。

実環境の影響: レジリエンス、分離、AI の導入にかかる時間

これらのアーキテクチャ設計を検証するために、NVIDIA と研究者は、本番グレードのクラスタと高忠実度のシミュレーションにおいて、Spectrum-X イーサネットを厳密に評価しました。この結果は、高使用率、障害シナリオ、マルチテナント環境における Spectrum-X イーサネットと、従来の市販のイーサネットとの間に明確な差があることを示しています。

マルチプレーンのレジリエンス: たとえば、8 プレーン構成のネットワークのうち 1 つのプレーンで、スイッチ間接続に 20% の局所的な障害が発生した場合、従来のイーサネットマルチプレーンネットワークでは即座にボトルネックが生じます。それはオブリビアスロードバランシングに依存しているため、すべての単一プレーンにおけるパフォーマンスが、劣化したプレーンに合わせて低下し、ファブリック全体の容量が 80% に制限されます。これに対し、Spectrum-X Multiplane は、ステートフルな PLB を活用して、ローカライズされたボトルネックを回避し、7 つの正常なプレーンを 100% の容量で稼働させ、機能が低下したプレーンだけを 80% の容量で稼働させます。最低限の基準に合わせるのではなく、利用可能なすべての健全な容量を活用することで、Spectrum-X Multiplane は、障害時にも全体的な All-to-All の総帯域幅を 1.2 倍向上させ、大規模な AI トレーニングジョブを継続的に実行するために必要な、容量に比例したスムーズな性能低下を実現します。

予測可能な高利用率パフォーマンス: 最悪ケースの RDMA 二分ベンチマークにおいて、従来のイーサネットの静的な ECMP ルーティングは、フローハッシュの衝突により機能不全を起こし、一部の GPU ペアでスループットが 25 Gbps まで低下します。AR と PLB を活用した Spectrum-X イーサネットは、厳密で予測可能な帯域幅の分布を実現し、すべての GPU ペアで理論的なラインレートの 98% を維持します。さらに、従来のイーサネットは遅延ジッタが幅広く、99 パーセンタイル (P99) のテール遅延が 22 µs に達するのに対し、Spectrum-X イーサネットは、75% のネットワーク負荷の条件でも、わずか 8～9 µs の低く安定した P99 テール遅延を維持します。

シームレスなフェイルオーバーの耐障害性: ホストとリーフ間の接続上のリンクがフラップした場合、従来のイーサネットのソフトウェアベースまたは非アクセラレーテッド型のロードバランサーでは、トラフィックの回復と再ルーティングに 1.08 秒以上を必要とします。これにより、GPU の集合通信を停止させる大規模な通信停止が発生します。これに対し、Spectrum-X イーサネットのハードウェアアクセラレーションによる PLB は、障害を検出し、わずか 2.68 ミリ秒でフェイルオーバーを完了します。これは、進行中の LLM トレーニングステップを中断することなく、一時的な障害を透過的に吸収する 400 倍の高速化です。

最後に、リンクの障害は避けられないものですが、パフォーマンスへの影響は物理的な接続の喪失に比例する程度にとどめる必要があります。パスに沿って複数の障害が発生すると、多くの送信元と宛先のペアで接続性が著しく低下するため、これを実現するのは困難です。

従来のイーサネットは、ケーブル障害やリンクフラップが発生すると非線形に性能が低下します。リーフのアップリンクの 10% が切断されると、ルーティングの非対称性により、総帯域幅が 50% 以上も減少する可能性があります。Spectrum-X イーサネットは、容量に比例して厳密に劣化します。ファブリックリンクの 10% が障害に陥ったシナリオでも、Spectrum-X イーサネットは、帯域幅がそれに比例して 11% 低下します。ただしテール遅延はわずか 7% 増加するだけなので、ほぼ理想的なパフォーマンスを維持します。

この堅牢な耐障害性により、物理インフラのあらゆる問題が完全に解決される前であっても、オペレーターは、ほぼ最適な効率でトレーニングワークロードを実行でき、「AI による成果創出までの時間」を大幅に短縮できます。

今日の AI ファクトリーのブループリント

汎用的なクラウドコンピューティングからギガ規模の生成 AI への移行は、ネットワークの要件に根本的な変化をもたらします。高エントロピーのトラフィック、スタティックルーティング、ソフトウェア制御の輻輳ループの前提を基盤に構築された従来の既製のイーサネットは、同期 AI コレクティブのマイクロ秒スケールのゼロジッターニーズを根本的に満たすことはできません。

Spectrum-X イーサネットは、ネットワークルールブックを書き換えます。 Spectrum-X イーサネットは、ファブリック内の適応型ルーティングによる主要な制御ループの分離とハードウェアアクセラレーション、トランスポートレイヤーでの目標を絞った輻輳制御、ホストエッジでの PLB を組み合わせることで、ギガスケール AI に必要な予測可能で安定した超低遅延のパフォーマンスを実現します。さらに、Spectrum-X Multiplane テクノロジは、クラスタースケーリングを簡素化し、マルチテナントワークロードを保護し、「AI への導入時間」を最小化する、堅牢で耐障害性に優れた、運用上可視性の高いネットワークファブリックを提供します。 AI ファクトリーを構築するあらゆる組織にとって、Spectrum-X イーサネットは、単なるパフォーマンスの最適化ではなく、アーキテクチャに不可欠です。

さらに詳しく

Spectrum-X イーサネットと Spectrum-X マルチプレーンの詳細については、こちらで公開されているホワイトペーパーをご覧ください。

翻訳に関する免責事項

この記事は、「Giga-Scale AI and the Ethernet Evolution: How Spectrum-X Ethernet Rewrites the Rules」の抄訳で、お客様の利便性のために機械翻訳によって翻訳されたものです。NVIDIA では、翻訳の正確さを期すために注意を払っておりますが、翻訳の正確性については保証いたしません。翻訳された記事の内容の正確性に関して疑問が生じた場合は、原典である英語の記事を参照してください。

ギガスケール AI とイーサネットの進化: Spectrum-X イーサネットがルールを書き換える方法

避けられない衝突: 従来のイーサネットが AI ワークロードで機能しない理由