NVIDIA Isaac Sim

NVIDIA Isaac Sim は、Omniverse を基盤とするスケーラブルなロボティクス シミュレーション アプリケーション、および合成データ生成ツールです。現場を忠実に再現したフォトリアリスティックな仮想環境は、AI ベースのロボットの開発、テスト、管理に最適です。




Isaac Sim を使用すると、世界中の開発者や研究者が AI ロボットをトレーニングし、幅広いタスクに合わせて最適化することができます。このデモではシミュレーションで開発され、実世界で実証された3つの非常に異なるロボットを紹介します。




Isaac Sim のダイアグラム


Isaac Sim Stack





2022.1の新機能


Isaac Cortex

Cortex

cobots のような複雑なロボットのプログラミング動作は、常に課題でした。Cortex は、このプログラミングタスクを大幅に簡素化する Isaac Simの意思決定フレームワークです。シミュレーションで世界の表現を構築することにより、ロボットはその環境を認識し、完了するように設計されたタスクについて決定を下すことができます。

Isaac Cortex の詳細 >
Isaac Gym

Gym

強化学習(RL) は、複雑なタスクを実行するためのロボット工学における強力な機械学習方法です。ロボットは、タスクを完了してスキルを習得するために”Gym”でトレーニングすることができます。Isaac Gymは、ロボットのトレーニング時間を大幅に短縮するGPU アクセラレーション RL ツールです。

Omniverse Isaac Gym の詳細 >
Isaac Omnigraph

Omnigraph

ビジュアルプログラミングは、アプリケーションの開発とデバッグを簡素化できます。Omnigraph は、ビジュアルスクリプティングとプログラミングのための Omniverse フレームワークです。ロボティクス アプリケーションは、相互に接続されたさまざまな計算ノードとして表されることが多く、ビジュアルプログラミングに特に適しています。

Isaac Sim の Omnigraph の詳細 >
Gazebo

Gazebo - Isaac Sim コネクタ

ROS 開発者は、Ignition-Omniverse コネクタを使用して、シミュレーションをGazebo から Isaac Sim に、またはその逆に移動できます。これにより、開発者は適切なシミュレーション タスクに適切なシミュレータを選択できます

Isaac と Gazebo を一緒に使用する方法の詳細 >





リアルなシミュレーション

Omniverse プラットフォームの優れたシミュレーション テクノロジを活用する Isaac Sim は、Phys X 5 による GPU の高度な物理シミュレーション、リアルタイムのレイ トレーシングとパス トレーシングによるフォトリアリスティックな映像、MDL マテリアル定義による実物ベースのレンダリングなどを実現します。

幅広い用途に対応するモジュラー型アーキテクチャ

単体のシミュレーターでは、すべてのロボティクス シミュレーションの課題に対処するのは困難です。しかし、Isaac Sim は、操作、ナビゲーション、トレーニング データの合成データ生成など、ほとんどの一般的なロボティクス ユース ケースに対応できるよう構築されています。また、モジュラー型のため、ツールをカスタマイズしてさまざまな新しいユース ケースに拡張できます。

シームレスな接続性と相互運用性

Omniverse を基盤とする Isaac Sim は、Omniverse Nucleus と Omniverse Connectors を利用できるため、Pixar USD での環境およびロボット モデルの共同構築、共有、インポートが可能です。


Isaac SDK と ROS/ROS2 インターフェイス、フル機能の Python スクリプト、ロボットおよび環境モデルのインポート用プラグインを利用すれば、ロボットの頭脳を仮想世界に簡単に接続できます。




認識モデルのトレーニング用に合成データを生成


認識モデルのトレーニングには、膨大な量と種類のデータセットが必要になります。十分なデータセットを収集するには、コストと時間がかかるうえ、ときに危険を伴い、不可能な場合もあります。Isaac Sim の合成データ生成機能を利用すれば、開発者はトレーニング タスクを自前で行えるようになります。プロジェクトの初期段階で、概念実証を加速したり、ML ワークフローを検証したりする際に合成データを利用できます。開発サイクルの後期には、実際のデータを補強するために合成データを使うことで、運用モデルのトレーニング時間を短縮できます。Isaac Sim にはドメイン ランダマジェーションが組み込まれているため、テクスチャ、色、照明、配置を変更することができます。また、バウンディング ボックス、深度、セグメンテーションなど、さまざまな種類のデータをサポートしています。データセットは KITTI 形式で出力できるため、NVIDIA の TAO Toolkitを簡単に活用できます。

Isaac Sim の合成データ サンプルを見る ›




操作シミュレーション


ロボットの主要な応用分野の 1 つに、物体を識別し、持ち上げて動かすマニピュレーターがあります。最新の工場や倉庫環境では、資材の運搬や選別にマニピュレーターを利用することで、作業効率とスループットを大幅に向上できます。Isaac Sim には、容器の充填や段積みといった一般的なタスクのサンプルが組み込まれています。Python ベースのこれらのサンプルは、変更してカスタム タスクにも利用できます。UR10、Frank Emika Panda (Leonardo)、低コストの DofBot といったマニピュレーター ロボットをサポートしており、プロジェクトをすばやく開始できます。

Isaac のマニピュレーション サポートの詳細を見る ›




ナビゲーション シミュレーション


自律移動ロボットは、環境内の A 地点から B 地点に移動できる必要があります。これを可能にしているのが Navigation Stack です。Isaac Sim はロボットのナビゲーション機能の開発とテストをサポートします。ROS Navigation Stack の使用方法の包括的なサンプルを搭載しており、NVIDIA Carter ロボットが倉庫内を自律移動できるようになっています。同様に、Carter で実行される Isaac SDK Navigation Stack も、サンプルの 1 つを利用して簡単に実行できます。

Carter の ROS Navigation Stack の詳細を見る ›

Carter の Isaac SDK Navigation Stack の詳細を見る ›




Isaac Sim へのロボットまたはアセットのインポート


ロボット モデルなどのアセットをロボティクス シミュレーターにインポートすることは、重要な作業であると同時に、トレーニングやテスト シナリオの準備における大きな課題でもあります。Omniverse の強力なコネクタ機能を活用する Isaac Sim は、主要な製品設計フォーマットをサポートしています。高度な URDF インポート ツールは、複数のロボット モデルでテスト済みです。また CAD ファイルは、Onshape からの直接インポートのほか、STEP ファイルからも最小限の後処理だけでインポート可能です。

hapeNet をサポートしている Isaac Sim は、さまざまな環境に簡単にアセットを追加できます。ShapeNet インポート ツールを使うと、膨大な量の 3D アセットにアクセスできます。

Onshape インポート ツールの使用に関する詳細情報を見る ›

STEP インポート ツールの使用に関する詳細情報を見る›



Isaac Sim の活用例


Sim-to-Real Logistics Automation

物流自動化のための Sim-to-Real の最適化

IML 社 フラウンホーファー氏 の GTC 2022 プレゼンテーション >
Isaac Cortex framework

Isaac Cortex: 仮想と物理ロボットのための意思決定フレームワーク

GTC 2022 トーク>



チュートリアル

全チュートリアルのプレイリストは こちら

ロボットを Isaac Sim にインポート

OnShape インポート ツールと Isaac Sim

Isaac Sim のデジタル ツイン




Isaac Sim の新着情報


Using Isaac Sim Data Replicator

Isaac Sim 用 Omniverse Replicator

合成データをトレーニングに使用して本番品質のビジョンベースの AI モデルをデプロイした実際例を参考にしましょう。

ブログ記事を読む >

Isaac Sim/Trimble の合成データ

Isaac Sim によるロボットのトレーニング用合成データ生成に関する Trimble の取り組みについてお読みください。

ブログ記事を読む >

NVIDIA/Open Robotics に関するニュース

NVIDIA と Open Robotics は ROS の開発者コミュニティに NVIDIA テクノロジを提供するために提携することを発表しました。

Read Blog > ブログ記事を読む



リソース





今すぐ Isaac Sim を始めましょう


Omniverse をダウンロードしてランチャーをインストール
Isaac Sim アプリを見つけてインストール

Omniverse をダウンロード