NVIDIA Isaac SDK
商用レベルの AI 搭載ロボットを構築、展開。NVIDIA Isaac SDK™ は、AI を使った認識機能やナビゲーション機能を必要とするロボット開発を加速するための素材とツールを提供するツールキットです。
今すぐ始める
人工知能
SDK には、認識およびプランニング用の GPU アクセラレーション アルゴリズムとディープ ニューラル ネットワーク (DNN)、教師あり学習と強化学習用の機械学習ワークフローが含まれています。
ナビゲーション
モジュラー型のロボティクス アルゴリズムにより、ナビゲーション ユース ケースのセンシング、プランニング、アクチュエーション機能が提供されます。
シミュレーション
フォトリアリスティックな忠実度の高い物理シミュレーション環境でトレーニングと継続的テストを行うことで、ロボット開発と展開を加速します。
AI ベースのロボット開発用の充実したソフトウェア プラットフォーム
SDK には、Isaac Engine (アプリケーション フレームワーク)、Isaac GEMS (高性能ロボティクス アルゴリズムを含むパッケージ)、Isaac Apps (リファレンス アプリケーション)、NVIDIA Isaac Sim™ (強力なシミュレーション プラットフォーム) が含まれます。認識機能やナビゲーション機能を簡単に追加できるツールや API を使用して、ロボット開発を加速できます。
Isaac SDK を使用して GPU によるリアルタイム パフォーマンスを実現
DNN ベースの GEMS のパフォーマンス
| 推論の解像度 | Jetson Xavier™ NX のフレームレート (fps) | Jetson AGG Xavier™ のフレームレート (fps) | |
|---|---|---|---|
| 13 次元姿勢: 姿勢推定用畳み込みニューラル ネットワーク (CNN) + DetectNetv2,ResNet-18 | 640x368 | 47 | 82 |
| 物体検出 (Detect_netv2, resnet18) | 640x368 | 120 | 205 |
| 自由空間のセグメンテーション (Unet) | 512x256 | 49 | 86 |
非 DNN ベースの GEMS のパフォーマンス
| 解像度 | Jetson Xavier™ NX の実行時間 | Jetson AGX Xavier™ の実行時間 | |
|---|---|---|---|
| スーパーピクセル | 640 x 360 | 20.72 ミリ秒 | 16.89 ミリ秒 |
| AprilTag の検出 | 701 x 935 | 17.51 ミリ秒 | 11.64 ミリ秒 |
| 22 台の LiDAR による初期/起動時グローバル位置特定 | 1250 x 500 (バイナリ マップ) | 6.93 秒 | 4.57 秒 |
| 3証拠グリッドマップ (EGM) の統合 | 256 x 256 (ローカル マップ) | 8.94 ミリ秒 | 3.33 ミリ秒 |
注目の GPU アクセラレーション GEMS
GEMS は、高性能ロボティクス アルゴリズムです。
Visual SLAM ベースの位置特定
Isaac の VSLAM 位置特定 (プレビュー リリース) により、業界最高レベルの性能で映像ベースの位置特定を行うことができます。実際、KITTI データベースを使用した公表データでは、リアルタイムのステレオ VSLAM 実装において、最も高いパフォーマンスを記録しています。映像ベースの位置特定にご興味のある方は、まずは Isaac Sim または NVIDIA Carter ロボットをお試しください。
Isaac Remote Control (RC)
Isaac Remote Control (プレビュー リリース) は、ロボットの遠隔オペレーターに制御アプリケーションの低レイテンシ動画ストリーミングを送信します。CloudXR をベースとする Isaac RC は、卓越したサービス品質 (QOS) を提供する高パフォーマンス ソフトウェア スタックです。
Carter v2.0 (屋内移動ロボット)
Carter v2.0 は、Isaac SDK ユーザー向けの屋内移動ロボットのリファレンス デザイン プラットフォームです。IMU を統合した Segway Robotics の RMPLite 220 Drivetrain を基盤に、センサーを追加して評価できるようになっており、非常に高い柔軟性を備えています。
Isaac Sim (ロボティクス シミュレーター)
テストとトレーニングをシミュレーションすれば、時間と労力を節約できます。Isaac Sim のフォトリアリスティックで正確な物理シミュレーション環境は、Isaac SDK とシームレスに連動します。Carter 2.0、Isaac RC、VSLAM ベースの位置特定など、SDK に含まれる機能の多くは Isaac Sim で既にサポートされています。
Isaac SDK パートナー
Isaac SDK パートナーは、Isaac SDK とシームレスに統合するドライバーを提供しています。ドライバーと Isaac 対応ハードウェアの一覧は、こちらのページをご覧ください。NVIDIA の自律型マシン エコシステムの一覧は、こちらのページをご覧ください。
お客様の声
「BMW Group は顧客の Power of Choice (選択の力) に専心しています。顧客がさまざまなら、車も多様な車種で多彩な機能がカスタマイズされています。1 つの工場ラインで複数のモデルを大量に作り、しかも、高品質の車に高度なカスタマイズを施すには、エンドツーエンドの高度な計算処理ソリューションが必要になります。NVIDIA との業務提携により、未来の工場の物流を今、開発することができ、最終的には、世界中の BMW Group の顧客に喜んでもらえるでしょう」
— BMW Group
「シンガポール政府の技術庁は、Boston Dynamics の四足歩行ロボット「Spot」のアドオン機能を開発し、国内の公園での安全な遠隔操作に役立てています。このプロジェクトでは、NVIDIA Jetson プラットフォームで実行される Visual SLAM などの AI ベースのアルゴリズムを利用して、ロボットの自律性と新しい環境への適応能力を高めました。また、Spot の自動ナビゲーションには、NVIDIA Isaac SDK を利用しています」
— シンガポール政府技術庁
Isaac プラットフォームの詳細
Isaac Engine は、モジュラー型のロボティクス アプリケーションを簡単に構築するためのソフトウェア フレームワークで、インテリジェント ロボットの高性能なデータ処理とディープラーニングを実現します。Isaac Robot Engine で開発したロボティクス アプリケーションは、NVIDIA® Jetson AGX Xavier™ や NVIDIA® Jetson Nano™などのエッジ デバイスのほか、T4 などのディスクリート型の NVIDIA® GPU を搭載したワークステーションでシームレスに実行できます。
計算グラフ計算グラフとエンティティ コンポーネントのアーキテクチャ
- 複雑なロボティクスのユース ケースを小さな構成要素に分解し、パッケージ化されたコンポーネントを構成してカスタマイズできます。
- メッセージに CUDA® バッファー オブジェクトをアタッチすることで、ホスト デバイスのメモリ コピーを回避し、アプリケーションのパフォーマンスを向上させます。
- ノードをサブグラフにグループ化し、ロボティクス アプリケーションに効果的に組み込みます。
視覚化、記録、再生のためのツール
- カスタマイズ可能な視覚化フレームワークを利用して、変数プロット、図面、カメラ画像オーバーレイ、3D シーンの視覚化を作成できます。
- Isaac WebSight を利用して、Web ブラウザーでロボティクス アプリケーションをチェックおよびデバッグできます。
"Isaac WebSight" アプリケーションPython API
- フル機能の Isaac コードレットを Python で作成できます。
- Python アプリケーションで Isaac C++ と高性能 GEMS を利用できます。
- Jupyter Notebook から Isaac アプリケーションを簡単に管理できます。
GEMS は、ロボティクス アプリケーションに簡単に追加できるモジュラー型のセンシング、プランニング、アクチュエーション機能です。たとえば、障害物検出、ステレオ画像の深度推定、人間の音声認識などを追加して、ロボットのユース ケースを拡張できます。同様に、各種モジュールを集約した Isaac Navigation Stack を使用して、ロボットのロボティクス ナビゲーション アプリケーションを構築できます。
実行前に衝突の軌道、範囲、速度をチェックして障害物を回避するプランニング アルゴリズムです。
速度の低下、進入の制限、一方向の運動などのセマンティック ゾーン情報を利用してカスタム可能なグローバル プランニング アルゴリズムです。
LQR Planner のコスト関数用の柔軟性に優れたインターフェイスです。コスト関数をカスタマイズしたり、組み合わせたりして、さまざまなロボットに使用できます。
Jetson ステレオ カメラ パートナーのカメラを Isaac SDK で利用できるようにするための明確に定義されたプロセスです。
Isaac Sim provides the essential features for building virtual robotic worlds and experiments. Isaac Sim supports navigation and manipulation applications through the Isaac SDK with RGB-D, lidar and inertial measurement unit (IMU) sensors, domain randomization, ground truth labeling, segmentation, and bounding boxes.
Training of pose estimation pipeline using machine learning workflows possible with Isaac SDK
Shows random changes in material (texture, color), light direction, light conditions, sunlight changes, placement of objects/obstacles, floors, etc., to train robot perception and behavior as well as test for robust behavior in real life
Multiple Carter robots operating simultaneously in a virtual warehouse. Each operated by an independent Jetson Xavier
Isaac SDK を使用して、商用レベルの AI 搭載ロボットを構築、展開