エージェント型 AI の現状を理解するために、90 年代のインターネットの台頭という、前回の劇的なテクノロジの転換を考えてみましょう。新しく、可能性に満ち溢れていました。 週末に Web サイトを構築して世界と共有したり、オンライン チャット ルームで世界のどこにいる誰かと長距離電話料金なしでチャットしたりできるようになりました。無限の機会をもたらしましたが、同時に多くのリスクも伴いました。Web サイトは、お客様のマシン上でコードを実行したり、機密情報を盗んだり、コンピューターをウイルスに感染させたりする可能性があります。それでも、人々はそれを気に入りました。
信頼性を確保するために、コミュニティは通信の暗号化や、接続が安全であるかどうか確認するための鍵アイコンなどの機能を構築しました。安全性における段階的な変化をもたらしたのは、当時としては画期的なセキュリティのアイデアでした。つまり各ページを独自のサンドボックス (ブラウザー内のタブ) に隔離し、不正なページがコンピューターの他の部分に悪影響をおよぼさないようにするというものでした。Amazon、Google、Netflix、Meta は、すべてこの信頼レイヤーの上に構築されました。
インターネットのセキュリティと安全性の確保によって、オンライン コマース、接続、ゲーミングなど、以前は不可能だった数多くのことが可能になりました。セキュリティと安全性は、イノベーションのペースを遅らせるのではなく、むしろ高速化させました。
なぜ今、エージェント向けの信頼できるレイヤーを構築するのでしょうか?
最近、いくつかのフロンティア ラボから同様の事例が報告されています。AI エージェントが、自らを封じ込めるために設けられた評価環境を抜け出し、本来アクセスを許可されるべきではないシステムにまで到達したというものです。一部のエージェントは、自らの行為について誤った報告さえしていました。 既存のセキュリティ制御は不十分でした。
ここ数週間、こうした報告を受けて、エージェント開発のペースについて深刻な議論が巻き起こっています。私たちは、フロンティア ラボやより幅広いコミュニティと協力し、AI の安全性に関する研究とエンジニアリングのペースを上げることが必要であると信じています。
これらのブレイクスルーを引き起こしたのは、単一の新しい機能ではありません。 それは、ツール、時間、そして曖昧な指示の組み合わせであり、さらにエージェントに「枠にとらわれず」考えてほしいという願いによるものでした。
エージェントの安全性には、独立したセキュリティ制御が必要です。 Web 開発者に善意で行動することを約束させることで、インターネットが安全になったわけではありません。ブラウザーが Web ページのコードを明示的に信頼することをやめたため、安全になりました。
私たちは、エージェント向けにこの信頼レイヤーを構築する必要があります。
OpenShell の構築から学んだ教訓
NVIDIA OpenShell (Apache 2.0) は、カーネル レベルで分離されたサンドボックス環境で自律型 AI エージェントを実行するためのオープンソースのセキュアなランタイムです。 この 1 年間で OpenShell を構築する中で、私たちはすべてのエージェントがゼロトラスト環境でそのまま実行すべきであることを学びました。 これには、隔離、監視、行動検知が必要です。 本日は、これを可能にするオープン スタックを紹介します。
私たち自身の研究では、エージェントがどのようにコースを外すかを観察しました。 ドリフトとは、エージェントの行動が、本来のタスクや運用上の制約から逸脱することを指します。ポリシー ブロック、バグ、またはツールの欠如に応じて、ドリフトが生じる可能性があります。また、指示が曖昧な場合や、最初の 1,000 通りの試行がうまくいかないような困難な問題を解決するためにエージェントを数日間あるいは数週間実行し続ける場合にも、ドリフトが発生することがあります。機能を維持したまま、これをトレーニングで取り除くことはできません。最も重要な教訓は、このような環境下のエージェントは、自らの行動を完全に制御することはできないということです。
エージェント システムを構築するための 5 つの基本原理
- ポリシーは検証可能なものである必要があります。エージェントが実行される前に、証明者がそのポリシーをオペレーターの意図から逸脱させないことを示します。
- 制御の強制適用は、エージェントから独立した領域で行う必要があります。制御機構は、エージェントの内部にも、エージェントがアクセスできる範囲にも配置しません。エージェントは、自分が監視されていることを知る必要はありません。
- モデル (脳) へのパスが制御ポイントです。エージェントは、次の思考なしに行動することはできません。モデルへのアクセス経路を制御することで、エージェントの動作を監視する最適なポイントと、必要に応じて動作を中断できる緊急停止手段の両方を確保できます。
- エージェントの権限は、その思考過程を検証できる範囲に応じて拡大する: エージェントに許可する操作が増えるほど、その推論過程の可視性を高める必要があります。オープン モデルの利点は、推論空間全体とアクティベーションがすべて可視化されていることです。
- 責任共有モデルの適用: ラボ、企業、ハードウェア プロバイダーは、今日のクラウドと同様に、それぞれにレイヤーを所有しています。 エージェントのランタイムとそのポリシー言語は、あらゆるプロバイダーがプラグインできるように、オープンである必要があります。
3 つのオープン エージェント安全プラットフォーム レイヤー
AI エージェント向けの安全プラットフォームは、以下の 3 つのレイヤーで構成されます。
- アプリケーション: エンドユーザーが構築しているもの。 タスクの成功に必要な基本構成要素である、モデル、ハーネス (実行/制御の枠組み)、ツール、データ、補助スクリプトやプログラムを備えています。
- ランタイム: アプリケーション レイヤーをインフラストラクチャに投影します。 エージェント型ワークロードを、エンドユーザーの要件 (エンドユーザーのワークステーション、エッジ デバイス、データ センター) を満たすインフラストラクチャにオーケストレーションし、継続的な監視とリアルタイムのポリシー適用とガバナンスを提供します。
- インフラ: エージェント型ワークロードを実行するために使用される、物理的なハードウェア リソース。外部サービスへのネットワーク通信、データベースとファイル システムへのアクセス、ツールやコードを実行のための汎用コンピューティング、安全性の監視とワークロード集約密度の向上のためのアクセラレーテッド コンピューティング。
エージェントの安全性のための階層的な基盤
OpenShell は、各エージェントをサンドボックスで実行し、オペレーターの命令を検証可能なポリシーに変換します。 オペレーターは、エージェントがアクセスできるファイル、ネットワーク、ツール、プロセス、資格情報を定義します。 OpenShell は、エージェントが実行される前にそれらの制限をチェックし、動作中にその制限を適用します。
追加の独立したレイヤーを必要とする組織向けに、NVIDIA Sentry は、監視と実施を NVIDIA BlueField ハードウェアに拡張します。 NVIDIA DOCA は、BlueField セキュリティ基盤をプログラマブルにし、OpenShell ポリシーと接続します。 エージェントとのやり取り、ポリシーの意思決定、ツールとデータ アクセスを相関させ、エージェント アクティビティのコンテキストに基づいた記録を作成します。
これにより、安全性を確保するシステムは、ドリフを特定し、不審な振る舞いを調査して、介入や詳細な分析が必要なタイミングを判断できます。DOCA ゲートウェイは、ID ガバナンスによりこの行動ベースの保護機能を補完し、各エージェントの ID と委任された権限を継続的に検証することで、割り当てられた範囲内で確実に動作するようにします。
詳細については、技術解説の「NVIDIA OpenShell で AI エージェントにランタイム制御を追加する」をご覧ください。
AI ファクトリー規模での運用
NVIDIA Open Agent Safety Platform は、NVIDIA Vera CPU および BlueField DPU ベースのシステムで実行されるように最適化されており、他のハードウェア システムとも互換性があります。
NVIDIA Vera Rubin POD では、各コンピューティング トレイに、ノードからモデルへの唯一のパス上に BlueField-4 データ処理ユニットが内蔵されています。 この位置にある BlueField-4 は、エージェントから独立した経路でその振る舞いを継続的に可視化し、回線速度でリアルタイムにセキュリティ ポリシーを強制適用します。ホストから切り離され、エージェントの範囲を超えた場所に位置するため、ホスト リソースが信頼できない場合でも、信頼できるインフラ保護レイヤーとして機能します。組織は、これを使用して、OpenShell と並んでオプションのセキュリティ レイヤーとして NVIDIA Sentry を実行できます。
この基盤により、OpenShell のポリシーをシリコンレベルで強制適用する堅牢なセキュリティと、エージェントの安全性および完全性の継続的な評価が可能になります。これには、エージェントのランタイム セキュリティを評価し、事前定義された行動プロファイルに基づいて設計意図から逸脱していないかを監視することが含まれます。このアーキテクチャでは、エージェント、サブエージェント、ツール、アプリケーションのフリート全体が、完全なリネージを保持したまま境界内にとどまります。BlueField-4 を搭載した NVIDIA Vera システムをすでにご利用中の場合、これらの保護機能はソフトウェアのアップデートだけで有効にできます。
エージェント エコノミー
インターネットは、オープンソース、オープン研究、そしてインターネットが人類の道を変えることができると信じている人々を基盤に構築されました。 信頼性を加えることで、素晴らしいコンセプトが素晴らしい経済へと変わりました。エージェント エコノミーと、次の優れた企業は、同じレイヤーを待っています。 そして、私たちも同じ方法で、一緒に構築できます。
NVIDIA は、AI エコシステム全体の業界リーダーと協力し、NVIDIA Open Agent Safety Platform を通じて、この基盤の構築に取り組んでいます。フロンティア ラボ、開発者、インフラ プロバイダーの皆様が私たちと共に構築されることを歓迎します。
翻訳に関する免責事項
この記事は、「NVIDIA Open Agent Safety Platform: A Reference for Continuous In-Silicon Agent Monitoring」の抄訳で、お客様の利便性のために機械翻訳によって翻訳されたものです。NVIDIA では、翻訳の正確さを期すために注意を払っておりますが、翻訳の正確性については保証いたしません。翻訳された記事の内容の正確性に関して疑問が生じた場合は、原典である英語の記事を参照してください。
